FilteredRecordReader skips rows it shouldn't for schema with optional columns
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
When using UnboundRecordFilter with nested AND/OR filters over OPTIONAL columns, there seems to be a case with a mismatch between the current record's column value and the value read during filtering.
The structure of my filter predicate that results in incorrect filtering is: (x && (y || z))
When I step through it with a debugger I can see that the value being read from the ColumnReader inside my Predicate is different than the value for that row.
Looking deeper there seems to be a buffer with dictionary keys in RunLenghBitPackingHybridDecoder (I am using RLE). There are only two different keys in this array, [0,1], whereas my optional column has three different values, [null,0,1]. If I had a column with values 5,10,10,null,10, and keys 0 -> 5 and 1 -> 10, the buffer would hold 0,1,1,1,0, and in the case that it reads the last row, would return 0 -> 5.
So it seems that nothing is keeping track of where nulls appear.
Hope someone can take a look, as it is a blocker for my project.
**Environment**: Linux, Java7/Java8
**Reporter**: [Steven Mellinger](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=stevemel)
#### Related issues:
- [filter2 API performance regression](https://github.com/apache/parquet-java/issues/1583) (relates to)
**Note**: *This issue was originally created as [PARQUET-182](https://issues.apache.org/jira/browse/PARQUET-182). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng cách truy vết vị từ lồng nhau (x \u0026\u0026 (y || z)) qua FilteredRecordReader, UnboundRecordFilter và ColumnReader. Kiểm tra RunLenghBitPackingHybridDecoder với một cột tùy chọn chứa null, 0 và 1, rồi so sánh các giá trị đã giải mã với vị trí các hàng. Hoàn thành khi việc lọc trả về đúng các hàng và phạm vi kiểm thử hồi quy bảo toàn các vị trí null.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100