apache / apache/parquet-java

Min/Max record counts for block size checks are not configurable

Đang mở
#2,038 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Component: Parquet Priority: Major Type: enhancement
Ngôn ngữ chính
Java
Star
3.1k
Fork
1.6k
Merge trung bình
3 ngày 12 giờ
Pull request đã merge (30 ngày)
33

Mô tả

While the min/max record counts for page size check are configurable via ParquetOutputFormat.MIN_ROW_COUNT_FOR_PAGE_SIZE_CHECK and ParquetOutputFormat.MAX_ROW_COUNT_FOR_PAGE_SIZE_CHECK configs and via ParquetProperties directly, the min/max record counts for block size check are hard coded inside InternalParquetRecordWriter.

These two settings should also be configurable.

**Reporter**: [Pradeep Gollakota](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=pradeepg26)
#### Related issues:
- [InternalParquetRecordWriter doesn't use min/max row counts](https://github.com/apache/parquet-java/issues/1461) (is duplicated by)
#### PRs and other links:
- [GitHub Pull Request #470](https://github.com/apache/parquet-mr/pull/470)
- [PR #447 (replaced by #470)](https://github.com/apache/parquet-mr/pull/447)
- [PR #470](https://github.com/apache/parquet-mr/pull/470)

**Note**: *This issue was originally created as [PARQUET-869](https://issues.apache.org/jira/browse/PARQUET-869). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Đọc InternalParquetRecordWriter cùng với ParquetOutputFormat và ParquetProperties, đồng thời so sánh các đường dẫn cấu hình kích thước trang hiện có. Kiểm tra PR #470 và issue liên quan #1461 trước khi quyết định liệu còn công việc nào cần thực hiện hay không; được xem là hoàn tất khi số lượng bản ghi tối thiểu/tối đa của khối có thể được cấu hình thông qua các đường dẫn cấu hình hoặc thuộc tính được cung cấp, thay vì bị hard-code.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java
Lĩnh vực
data-engineering
Loại issue
Tính năng
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Đặc tả rõ ràng
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.