Efficient storage for several INT_8 and INT_16
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
In very large datasets, aggregating several INT8 into INT32 fields (or byte array) can make a big difference.
In parquet, efficient algorithms exist for INT32, so if the LogicalType is INT_8 the encoded int might take up only one byte.
However further optimizations could be made by allowing the user to better specify the types.
What about BYTE_ARRAY logical type, backed by FIXED_LEN_BYTE_ARRAY type (or eventually INT_32)?
**Reporter**: [Fernando Pereira](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=ferdonline)
**Note**: *This issue was originally created as [PARQUET-845](https://issues.apache.org/jira/browse/PARQUET-845). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng cách xem xét cách Parquet hiện biểu diễn các kiểu logic INT8 và INT16 bằng INT32, sau đó kiểm tra hành vi mã hóa hiện có đối với các giá trị INT32 và BYTE_ARRAY. Công việc được xem là hoàn tất khi đã thống nhất một biểu diễn kiểu cụ thể và triển khai, xác thực tối ưu hóa lưu trữ được đề xuất, nhưng issue không nêu tên các tệp hoặc các bài kiểm thử cần chạy.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Tính năng
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 20/100