apache / apache/iceberg-python
Error when upserting and updating dataframes with dictionary encoded columns
- Vorherrschende Sprache
- Python
- Sterne
- 1.1k
- Forks
- 581
- Ø Merge
- 1 T. 17 Std.
- Gemergte PRs (30 T.)
- 78
Beschreibung
### Apache Iceberg version
0.9.1
### Please describe the bug 🐞
df = pyarrow.read_table(read_dictionary=[string_columns])
table = catalog.load_table(table_name)
table.append(df) -> 'append' casts dictionary columns into large string and table appended without any error
table.upsert(df, join_cols=[primary_keys]) -> Error (Invalid Type Dictionary)
table.update(df, join_cols=[primary_keys]) -> Error (Invalid Type Dictionary)
### Willingness to contribute
- [ ] I can contribute a fix for this bug independently
- [ ] I would be willing to contribute a fix for this bug with guidance from the Iceberg community
- [x] I cannot contribute a fix for this bug at this time
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne damit, das Problem mit pyarrow.read_table(read_dictionary=[string_columns]) und einer Tabelle zu reproduzieren, die aus catalog.load_table(table_name) geladen wurde. Vergleiche table.append(df), table.upsert(df, join_cols=[primary_keys]) und table.update(df, join_cols=[primary_keys]); abgeschlossen ist die Aufgabe, wenn upsert und update Dictionary-kodierte Spalten ohne den gemeldeten Invalid Type Dictionary-Fehler verarbeiten.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- databases
- Issue-Typ
- Bug
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Aktiv
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 50/100