apache / apache/iceberg-python

BucketTransform fails on dictionary-encoded pyArrow arrays

Ouverte
#3,633 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Python
Étoiles
1.1k
Forks
581
Merge moyen
1 j 17 h
PR mergées (30 j)
77

Description

### Apache Iceberg version

0.9.1

### Please describe the bug 🐞

Pyiceberg version - 0.9.1 (also reproduced with 0,11.1)
Pyiceberg core version - 0.9.1

table created with bucket transform

df = pyarrow.read_table(read_dictionary=string_columns)

table.append(df)

ValueError : Feature Unsupported => Unsupported data type for bucket transform: Dictionary (Int32, Utf8)

### Willingness to contribute

- [ ] I can contribute a fix for this bug independently
- [ ] I would be willing to contribute a fix for this bug with guidance from the Iceberg community
- [x] I cannot contribute a fix for this bug at this time

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Reproduisez l’échec avec pyarrow.read_table(read_dictionary=string_columns), suivi de table.append(df), en utilisant un bucket transform. Examinez la gestion du bucket transform pour les tableaux Dictionary (Int32, Utf8) ; le travail est terminé lorsque les colonnes encodées avec Dictionary peuvent être ajoutées sans le unsupported-data-type error.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python
Domaine
databases
Type d'issue
Bug
Difficulté
3/5
Temps estimé
1-2 jours
Activité
Calme
Clarté
Plutôt claire
Accessibilité débutants
55/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.