apache / apache/iceberg-python

Support data files compaction

Abierto
#1,092 13 comentarios 33 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
1.1k
Forks
581
Merge medio
1 d 17 h
PR fusionados (30 d)
77

Descripción

Introduce an API to compact data files. The first version of the API will do the following:
- take a predicate expression as input parameter to find data files matching the filter that will be re-written
- group data files by partitions and rewrite them using the same bin-packing constraints of the writer

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Empieza leyendo las API existentes de data-file y writer de PyIceberg para entender cómo se representan el filtrado por predicados, la agrupación por partición y las restricciones de bin-packing. Sigue el flujo del writer y las pruebas relevantes antes de decidir dónde debe ubicarse la API de compaction. Se considera terminado cuando los llamadores pueden proporcionar un predicado, los archivos coincidentes se agrupan por partición y los archivos reescritos utilizan las restricciones de bin-packing existentes del writer.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
data-engineering, databases
Tipo de issue
Nueva funcionalidad
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Tranquilo
Claridad
Bastante claro
Aptitud para principiantes
48/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.