apache / apache/iceberg-python
Support data files compaction
- Linguagem predominante
- Python
- Estrelas
- 1.1k
- Forks
- 581
- Merge médio
- 1d 13h
- PRs com merge (30d)
- 76
Descrição
Introduce an API to compact data files. The first version of the API will do the following:
- take a predicate expression as input parameter to find data files matching the filter that will be re-written
- group data files by partitions and rewrite them using the same bin-packing constraints of the writer
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Direção de pesquisa
Comece lendo as APIs existentes de data-file e writer do PyIceberg para entender como são representados a filtragem por predicado, o agrupamento por partição e as restrições de bin-packing. Acompanhe o caminho do writer e os testes relevantes antes de decidir onde a API de compaction deve ficar. Considera-se concluído quando os chamadores puderem fornecer um predicado, os arquivos correspondentes forem agrupados por partição e os arquivos reescritos usarem as restrições de bin-packing existentes do writer.
Escrita pelo modelo de indexação a partir do texto da issue.
Avaliação
- Stack de tecnologia
- python
- Domínio
- data-engineering, databases
- Tipo de issue
- Funcionalidade
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Status de atividade
- Pouca atividade
- Clareza
- Razoavelmente clara
- Facilidade para iniciantes
- 48/100