apache / apache/parquet-java

Support a better encoding for Parquet Dictionary

Đang mở
#2,074 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Component: Java Component: Parquet Priority: Major Type: enhancement
Ngôn ngữ chính
Java
Star
3.1k
Fork
1.6k
Merge trung bình
3 ngày 12 giờ
Pull request đã merge (30 ngày)
33

Mô tả

Currently Parquet is using Plain encoding for the dictionary, it should support a better encoding, such as BitPacking or DeltaBinaryPacking.

**Reporter**: [Dapeng Sun](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=dapengsun) / @sundapeng

**Note**: *This issue was originally created as [PARQUET-1060](https://issues.apache.org/jira/browse/PARQUET-1060). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Bắt đầu bằng cách xác định phần triển khai mã hóa từ điển Parquet và đường dẫn mã hóa Plain hiện có; issue không nêu tên tệp hoặc test nào. So sánh các tùy chọn BitPacking và DeltaBinaryPacking được hỗ trợ, đồng thời xác định các trang từ điển biểu diễn chúng như thế nào. Công việc được xem là hoàn tất khi một mã hóa tốt hơn được chọn đã được hỗ trợ chính xác và được bao phủ bởi các test liên quan.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java
Lĩnh vực
data-engineering
Loại issue
Tính năng
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.