apache / apache/iceberg-python
Error when upserting and updating dataframes with dictionary encoded columns
- Lingua principale
- Python
- Stelle
- 1.1k
- Fork
- 581
- Merge medio
- 1g 17h
- PR unite (30g)
- 78
Descrizione
### Apache Iceberg version
0.9.1
### Please describe the bug 🐞
df = pyarrow.read_table(read_dictionary=[string_columns])
table = catalog.load_table(table_name)
table.append(df) -> 'append' casts dictionary columns into large string and table appended without any error
table.upsert(df, join_cols=[primary_keys]) -> Error (Invalid Type Dictionary)
table.update(df, join_cols=[primary_keys]) -> Error (Invalid Type Dictionary)
### Willingness to contribute
- [ ] I can contribute a fix for this bug independently
- [ ] I would be willing to contribute a fix for this bug with guidance from the Iceberg community
- [x] I cannot contribute a fix for this bug at this time
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia riproducendo il problema con pyarrow.read_table(read_dictionary=[string_columns]) e una tabella caricata da catalog.load_table(table_name). Confronta table.append(df), table.upsert(df, join_cols=[primary_keys]) e table.update(df, join_cols=[primary_keys]); il lavoro è completato quando upsert e update gestiscono le colonne codificate come dictionary senza l'errore Invalid Type Dictionary segnalato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- databases
- Tipo di issue
- Bug
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Attiva
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 50/100