Improve the RLE encoding for Parquet Dictionary IDs
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
The IDs of Parquet Dictionary encoding is using `RunLengthBitPackingHybridEncoder`.
RunLengthBitPackingHybridEncoder handles encoding with `repeat` and `bitpacking`, we should improve it with the method likes `DeltaBinaryPackingWriter`
**Reporter**: [Dapeng Sun](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=dapengsun) / @sundapeng
**Note**: *This issue was originally created as [PARQUET-1059](https://issues.apache.org/jira/browse/PARQUET-1059). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Start by locating RunLengthBitPackingHybridEncoder and DeltaBinaryPackingWriter in the Java sources, then read their encoding and test coverage. Determine the intended improved handling for Parquet Dictionary IDs and define completion through encoding correctness and performance tests; the issue does not name specific files or tests.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Tái cấu trúc
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100