apache / apache/iceberg-python

Support data files compaction

オープン
#1,092 コメント 13 件 リアクション 33 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
1.1k
フォーク
581
平均マージ
1日 17時間
マージ済み PR(30日)
77

説明

Introduce an API to compact data files. The first version of the API will do the following:
- take a predicate expression as input parameter to find data files matching the filter that will be re-written
- group data files by partitions and rewrite them using the same bin-packing constraints of the writer

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

まず PyIceberg の既存の data-file API と writer API を読み、predicate filtering、パーティションによるグループ化、bin-packing の制約がどのように表現されているかを理解します。compaction API をどこに配置するか決める前に、writer の処理経路と関連するテストを追ってください。完了条件は、呼び出し側が predicate を指定でき、一致するファイルがパーティションごとにグループ化され、書き換えられたファイルが writer の既存の bin-packing 制約を使用することです。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python
領域
data-engineering, databases
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
静か
明瞭さ
おおむね明確
初心者へのやさしさ
48/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。