apache / apache/iceberg-python
[Feat] Support Merge-on-Read mode for Deletes
- Vorherrschende Sprache
- Python
- Sterne
- 1.1k
- Forks
- 581
- Ø Merge
- 1 T. 17 Std.
- Gemergte PRs (30 T.)
- 77
Beschreibung
### Feature Request / Improvement
Similar to Spark, we would like to implement Merge-on-Read mode of deleting, by creating delete files that encode position and equality delete markers that can be applied within a given partition.
https://iceberg.apache.org/spec/?h=delete+files#row-level-deletes
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne damit, die in diesem Issue verlinkte Spezifikation für zeilenbasierte Löschungen von Apache Iceberg zu lesen, und vergleiche anschließend deren Anforderungen an Positions- und Gleichheitslöschungen mit dem bestehenden Löschverhalten von PyIceberg. Definiere den unterstützten Umfang von Merge-on-Read und verifiziere, dass Löschmarkierungen innerhalb einer Partition angewendet werden können, einschließlich Tests für beide Löschtypen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python, spark
- Bereich
- data-engineering, databases
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Ruhig
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 35/100