apache / apache/iceberg-python

Support optional Parquet page index writes

オープン
#3,847 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
1.1k
フォーク
581
平均マージ
1日 17時間
マージ済み PR(30日)
78

説明

## Feature Request / Improvement

PyIceberg doesn't expose Parquet page index writing, even though PyArrow supports it with `ParquetWriter(write_page_index=True)`.

### Use case / motivation

Page indexes let readers such as ClickHouse skip non-matching pages during predicate evaluation, avoiding decoding work for selective queries. Tables written by PyIceberg currently lack these indexes, so page-level pruning is not possible regardless of reader support.

### Proposed change

Add an opt-in `write.parquet.page-index-enabled` table property, default false, to preserve current output and file sizes. When enabled, PyIceberg passes `write_page_index=True` to PyArrow's ParquetWriter.

### Implementation

PR #3829 adds the table property, threads it through `_get_parquet_writer_kwargs`, documents it in mkdocs/docs/configuration.md, and includes unit and integration test coverage.

### Tooling note

I developed this with assistance from DS v4 Pro and reviewed the changes myself.

### References

- #3829

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

まず PR #3829 を確認し、次に _get_parquet_writer_kwargs、mkdocs/docs/configuration.md、および参照されている unit test と integration test を調べます。デフォルトでは opt-in プロパティが false のままで、true の場合に PyArrow のページインデックスの書き込みが有効になり、ドキュメントに記載されたテストが成功すれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python
領域
data-engineering
issue の種類
機能追加
難易度
2/5
見積もり時間
1〜3時間
活発さ
停滞
明瞭さ
明確に書かれている
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。