apache / apache/iceberg-python
[Feat] Support Merge-on-Read mode for Deletes
オープン
- 主要言語
- Python
- スター
- 1.1k
- フォーク
- 581
- 平均マージ
- 1日 17時間
- マージ済み PR（30日）
- 77
説明
### Feature Request / Improvement
Similar to Spark, we would like to implement Merge-on-Read mode of deleting, by creating delete files that encode position and equality delete markers that can be applied within a given partition.
https://iceberg.apache.org/spec/?h=delete+files#row-level-deletes
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
まず、issue にリンクされている Apache Iceberg の行レベル削除仕様を読み、その後、位置削除と等価削除に関する仕様の要件を、既存の PyIceberg の削除動作と比較します。サポートする Merge-on-Read の範囲を定義し、両方の削除タイプについてテストを追加して、パーティション内で削除マーカーを適用できることを検証します。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python, spark
- 領域
- data-engineering, databases
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 静か
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 35/100