apache / apache/iceberg-python
Support rewrite_manifests table maintenance
- Lenguaje dominante
- Python
- Estrellas
- 1.1k
- Forks
- 581
- Merge medio
- 1 d 17 h
- PR fusionados (30 d)
- 77
Descripción
### Feature Request / Improvement
Rewriting manifests without changing data speeds up scan planning when a table has accumulated many small manifests. Java exposes this as `Table.rewriteManifests()` (Spark: `rewrite_manifests`).
Scope: an explicit maintenance operation that reads the current snapshot's manifests, regroups entries, rewrites them preserving sequence numbers (entries rewritten as EXISTING) and, for V3, `first_row_id`, and commits a `replace` snapshot. Related: #270 tracks automatic manifest merging on write; this covers the explicit maintenance API.
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Localiza el punto de entrada de mantenimiento/API de tablas en Python correspondiente a Table.rewriteManifests(); lee primero las rutas actuales de snapshots y gestión de manifiestos. Se considera terminado cuando una operación explícita reagrupa los manifiestos actuales, conserva los números de secuencia y V3 first_row_id, marca las entradas reescritas como EXISTING y confirma un snapshot de reemplazo.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python
- Área
- databases
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Tranquilo
- Claridad
- Bastante claro
- Aptitud para principiantes
- 38/100