Min/Max record counts for block size checks are not configurable
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
While the min/max record counts for page size check are configurable via ParquetOutputFormat.MIN_ROW_COUNT_FOR_PAGE_SIZE_CHECK and ParquetOutputFormat.MAX_ROW_COUNT_FOR_PAGE_SIZE_CHECK configs and via ParquetProperties directly, the min/max record counts for block size check are hard coded inside InternalParquetRecordWriter.
These two settings should also be configurable.
**Reporter**: [Pradeep Gollakota](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=pradeepg26)
#### Related issues:
- [InternalParquetRecordWriter doesn't use min/max row counts](https://github.com/apache/parquet-java/issues/1461) (is duplicated by)
#### PRs and other links:
- [GitHub Pull Request #470](https://github.com/apache/parquet-mr/pull/470)
- [PR #447 (replaced by #470)](https://github.com/apache/parquet-mr/pull/447)
- [PR #470](https://github.com/apache/parquet-mr/pull/470)
**Note**: *This issue was originally created as [PARQUET-869](https://issues.apache.org/jira/browse/PARQUET-869). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Đọc InternalParquetRecordWriter cùng với ParquetOutputFormat và ParquetProperties, đồng thời so sánh các đường dẫn cấu hình kích thước trang hiện có. Kiểm tra PR #470 và issue liên quan #1461 trước khi quyết định liệu còn công việc nào cần thực hiện hay không; được xem là hoàn tất khi số lượng bản ghi tối thiểu/tối đa của khối có thể được cấu hình thông qua các đường dẫn cấu hình hoặc thuộc tính được cung cấp, thay vì bị hard-code.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Tính năng
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức phù hợp với người mới
- 25/100