apache / apache/iceberg-python

Add `delete_files`

Ouverte
#2,787 2 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Python
Étoiles
1.1k
Forks
581
Merge moyen
1 j 17 h
PR mergées (30 j)
78

Description

### Feature Request / Improvement

Hello All,

First of all, apologies as I am not very experienced with PyIceberg.

I currently have a Java application that "manually" updates table metadata and can add new files if they don't exist and replace older files if they already do. This guarantees that, as long as the file names are fixed, I should not have duplicates.

In Java, I use [deleteFile](https://iceberg.apache.org/javadoc/0.13.1/org/apache/iceberg/DeleteFiles.html#deleteFile-java.lang.CharSequence-) and then [addFile](https://iceberg.apache.org/javadoc/0.13.1/org/apache/iceberg/OverwriteFiles.html#addFile-org.apache.iceberg.DataFile-).

In PyIceberg, I can [Add Files](https://py.iceberg.apache.org/api/#add-files), but I don't see options to "Delete Files" or overwrite.

Is `delete_files()` a feature that you could add?

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par l’API Add Files existante de PyIceberg et comparez son comportement avec les API Java DeleteFiles et OverwriteFiles liées. Définissez les sémantiques prises en charge de delete_files ou overwrite et vérifiez que la fonctionnalité terminée permet aux appelants de supprimer ou de remplacer des fichiers de données existants sans créer de doublons.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python
Domaine
data-engineering
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
Calme
Clarté
Plutôt claire
Accessibilité débutants
50/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.