apache / apache/iceberg-python
Support data files compaction
- Lenguaje dominante
- Python
- Estrellas
- 1.1k
- Forks
- 581
- Merge medio
- 1 d 17 h
- PR fusionados (30 d)
- 77
Descripción
Introduce an API to compact data files. The first version of the API will do the following:
- take a predicate expression as input parameter to find data files matching the filter that will be re-written
- group data files by partitions and rewrite them using the same bin-packing constraints of the writer
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Empieza leyendo las API existentes de data-file y writer de PyIceberg para entender cómo se representan el filtrado por predicados, la agrupación por partición y las restricciones de bin-packing. Sigue el flujo del writer y las pruebas relevantes antes de decidir dónde debe ubicarse la API de compaction. Se considera terminado cuando los llamadores pueden proporcionar un predicado, los archivos coincidentes se agrupan por partición y los archivos reescritos utilizan las restricciones de bin-packing existentes del writer.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python
- Área
- data-engineering, databases
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Tranquilo
- Claridad
- Bastante claro
- Aptitud para principiantes
- 48/100