apache / apache/arrow-java

[Java] DictionaryProvider leaks memory while adding dictionaries with duplicate encoding

Đang mở
#313 7 bình luận 0 reaction 0 người được giao Xem trên GitHub
Type: bug
Ngôn ngữ chính
Java
Star
94
Fork
152
Merge trung bình
3 ngày 16 giờ
Pull request đã merge (30 ngày)
11

Mô tả

DictionaryProvider leaks memory while adding dictionaries with duplicate encoding. Is this expected? Should the provider release the memory of the existing dictionary vector if it accepts another one with same encoding id ?

Sample code:
```java

"dictionaryProvider" should " not leak memory while adding dictionaries with duplicate encoding" in {

val allocator: RootAllocator = new RootAllocator()

val vector: ListVector = ListVector.empty("vector", allocator)
val dictionaryVector1: ListVector = ListVector.empty("dict1", allocator)
val dictionaryVector2: ListVector = ListVector.empty("dict2", allocator)

val writer1: UnionListWriter = vector.getWriter
writer1.allocate
writer1.setValueCount(1)

val dictWriter1: UnionListWriter = dictionaryVector1.getWriter
dictWriter1.allocate
dictWriter1.setValueCount(1)

val dictWriter2: UnionListWriter = dictionaryVector2.getWriter
dictWriter2.allocate
dictWriter2.setValueCount(1)

val dictionary1: Dictionary = new Dictionary(dictionaryVector1, new DictionaryEncoding(1L, false, None.orNull))
val dictionary2: Dictionary = new Dictionary(dictionaryVector2, new DictionaryEncoding(1L, false, None.orNull))

val provider = new DictionaryProvider.MapDictionaryProvider
provider.put(dictionary1)
provider.put(dictionary2)

vector.clear()
provider.getDictionaryIds.asScala.map(id => provider.lookup(id).getVector.clear())

allocator.getAllocatedMemory shouldBe 0
}
```

**Reporter**: [Vimal Varghese](https://issues.apache.org/jira/browse/ARROW-16920)

**Note**: *This issue was originally created as [ARROW-16920](https://issues.apache.org/jira/browse/ARROW-16920). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu tại DictionaryProvider.MapDictionaryProvider và chạy reproduction được cung cấp, trong đó thêm hai từ điển có encoding ID 1, xóa vector và kiểm tra bộ nhớ allocator. Theo dõi điều gì xảy ra với từ điển đầu tiên khi từ điển thứ hai được chèn vào; hoàn thành khi trường hợp encoding trùng lặp giải phóng toàn bộ bộ nhớ đã cấp phát và kiểm tra cấp phát cuối cùng đạt đến 0.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java
Lĩnh vực
data
Loại issue
Lỗi
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.