apache / apache/parquet-java

Efficient storage for several INT_8 and INT_16

Đang mở
#2,034 6 bình luận 0 reaction 0 người được giao Xem trên GitHub
Component: Parquet Priority: Minor Type: enhancement
Ngôn ngữ chính
Java
Star
3.1k
Fork
1.6k
Merge trung bình
3 ngày 12 giờ
Pull request đã merge (30 ngày)
33

Mô tả

In very large datasets, aggregating several INT8 into INT32 fields (or byte array) can make a big difference.
In parquet, efficient algorithms exist for INT32, so if the LogicalType is INT_8 the encoded int might take up only one byte.

However further optimizations could be made by allowing the user to better specify the types.
What about BYTE_ARRAY logical type, backed by FIXED_LEN_BYTE_ARRAY type (or eventually INT_32)?

**Reporter**: [Fernando Pereira](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=ferdonline)

**Note**: *This issue was originally created as [PARQUET-845](https://issues.apache.org/jira/browse/PARQUET-845). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Bắt đầu bằng cách xem xét cách Parquet hiện biểu diễn các kiểu logic INT8 và INT16 bằng INT32, sau đó kiểm tra hành vi mã hóa hiện có đối với các giá trị INT32 và BYTE_ARRAY. Công việc được xem là hoàn tất khi đã thống nhất một biểu diễn kiểu cụ thể và triển khai, xác thực tối ưu hóa lưu trữ được đề xuất, nhưng issue không nêu tên các tệp hoặc các bài kiểm thử cần chạy.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java
Lĩnh vực
data-engineering
Loại issue
Tính năng
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
20/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.