apache / apache/iceberg-python
Support data files compaction
- Langage dominant
- Python
- Étoiles
- 1.1k
- Forks
- 581
- Merge moyen
- 1 j 17 h
- PR mergées (30 j)
- 78
Description
Introduce an API to compact data files. The first version of the API will do the following:
- take a predicate expression as input parameter to find data files matching the filter that will be re-written
- group data files by partitions and rewrite them using the same bin-packing constraints of the writer
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par lire les API existantes de data-file et writer de PyIceberg afin de comprendre comment sont représentés le filtrage par prédicat, le regroupement par partition et les contraintes de bin-packing. Suivez le chemin du writer et les tests pertinents avant de décider où doit se trouver l’API de compaction. C’est terminé lorsque les appelants peuvent fournir un prédicat, que les fichiers correspondants sont regroupés par partition et que les fichiers réécrits utilisent les contraintes de bin-packing existantes du writer.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- python
- Domaine
- data-engineering, databases
- Type d'issue
- Fonctionnalité
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- Calme
- Clarté
- Plutôt claire
- Accessibilité débutants
- 48/100