apache / apache/iceberg-python
Support data files compaction
オープン
- 主要言語
- Python
- スター
- 1.1k
- フォーク
- 581
- 平均マージ
- 1日 17時間
- マージ済み PR(30日)
- 77
説明
Introduce an API to compact data files. The first version of the API will do the following:
- take a predicate expression as input parameter to find data files matching the filter that will be re-written
- group data files by partitions and rewrite them using the same bin-packing constraints of the writer
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
まず PyIceberg の既存の data-file API と writer API を読み、predicate filtering、パーティションによるグループ化、bin-packing の制約がどのように表現されているかを理解します。compaction API をどこに配置するか決める前に、writer の処理経路と関連するテストを追ってください。完了条件は、呼び出し側が predicate を指定でき、一致するファイルがパーティションごとにグループ化され、書き換えられたファイルが writer の既存の bin-packing 制約を使用することです。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python
- 領域
- data-engineering, databases
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 静か
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 48/100