apache / apache/iceberg-python

[Feat] Support Merge-on-Read mode for Deletes

Offen
#1,078 7 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
1.1k
Forks
581
Ø Merge
1 T. 17 Std.
Gemergte PRs (30 T.)
77

Beschreibung

### Feature Request / Improvement

Similar to Spark, we would like to implement Merge-on-Read mode of deleting, by creating delete files that encode position and equality delete markers that can be applied within a given partition.

https://iceberg.apache.org/spec/?h=delete+files#row-level-deletes

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne damit, die in diesem Issue verlinkte Spezifikation für zeilenbasierte Löschungen von Apache Iceberg zu lesen, und vergleiche anschließend deren Anforderungen an Positions- und Gleichheitslöschungen mit dem bestehenden Löschverhalten von PyIceberg. Definiere den unterstützten Umfang von Merge-on-Read und verifiziere, dass Löschmarkierungen innerhalb einer Partition angewendet werden können, einschließlich Tests für beide Löschtypen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, spark
Bereich
data-engineering, databases
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Ruhig
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.