apache / apache/iceberg-python
Support optional Parquet page index writes
- Ngôn ngữ chính
- Python
- Star
- 1.1k
- Fork
- 581
- Merge trung bình
- 1 ngày 17 giờ
- Pull request đã merge (30 ngày)
- 78
Mô tả
## Feature Request / Improvement
PyIceberg doesn't expose Parquet page index writing, even though PyArrow supports it with `ParquetWriter(write_page_index=True)`.
### Use case / motivation
Page indexes let readers such as ClickHouse skip non-matching pages during predicate evaluation, avoiding decoding work for selective queries. Tables written by PyIceberg currently lack these indexes, so page-level pruning is not possible regardless of reader support.
### Proposed change
Add an opt-in `write.parquet.page-index-enabled` table property, default false, to preserve current output and file sizes. When enabled, PyIceberg passes `write_page_index=True` to PyArrow's ParquetWriter.
### Implementation
PR #3829 adds the table property, threads it through `_get_parquet_writer_kwargs`, documents it in mkdocs/docs/configuration.md, and includes unit and integration test coverage.
### Tooling note
I developed this with assistance from DS v4 Pro and reviewed the changes myself.
### References
- #3829
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng việc xem xét PR #3829, sau đó kiểm tra _get_parquet_writer_kwargs, mkdocs/docs/configuration.md và các unit test cũng như integration test được tham chiếu. Công việc được xem là hoàn tất khi thuộc tính opt-in vẫn là false theo mặc định, bật tính năng ghi page index của PyArrow khi là true và các test được ghi lại trong tài liệu đều chạy thành công.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- data-engineering
- Loại issue
- Tính năng
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức phù hợp với người mới
- 25/100