apache / apache/iceberg-python
Support rewrite_manifests table maintenance
- Vorherrschende Sprache
- Python
- Sterne
- 1.1k
- Forks
- 581
- Ø Merge
- 1 T. 17 Std.
- Gemergte PRs (30 T.)
- 78
Beschreibung
### Feature Request / Improvement
Rewriting manifests without changing data speeds up scan planning when a table has accumulated many small manifests. Java exposes this as `Table.rewriteManifests()` (Spark: `rewrite_manifests`).
Scope: an explicit maintenance operation that reads the current snapshot's manifests, regroups entries, rewrites them preserving sequence numbers (entries rewritten as EXISTING) and, for V3, `first_row_id`, and commits a `replace` snapshot. Related: #270 tracks automatic manifest merging on write; this covers the explicit maintenance API.
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Lokalisieren Sie den Python-Einstiegspunkt für Tabellenwartung/API, der Table.rewriteManifests() entspricht; lesen Sie zuerst die aktuellen Snapshot- und Manifest-Verwaltungspfade. Als erledigt gilt die Aufgabe, wenn eine explizite Operation die aktuellen Manifeste neu gruppiert, Sequenznummern und V3 first_row_id beibehält, neu geschriebene Einträge als EXISTING markiert und einen Replace-Snapshot committet.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- databases
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Ruhig
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 38/100