apache / apache/iceberg-python

Error when upserting and updating dataframes with dictionary encoded columns

Abierto
#3,835 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
1.1k
Forks
581
Merge medio
1 d 17 h
PR fusionados (30 d)
77

Descripción

### Apache Iceberg version

0.9.1

### Please describe the bug 🐞

df = pyarrow.read_table(read_dictionary=[string_columns])

table = catalog.load_table(table_name)

table.append(df) -> 'append' casts dictionary columns into large string and table appended without any error

table.upsert(df, join_cols=[primary_keys]) -> Error (Invalid Type Dictionary)
table.update(df, join_cols=[primary_keys]) -> Error (Invalid Type Dictionary)

### Willingness to contribute

- [ ] I can contribute a fix for this bug independently
- [ ] I would be willing to contribute a fix for this bug with guidance from the Iceberg community
- [x] I cannot contribute a fix for this bug at this time

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Comienza reproduciendo el problema con pyarrow.read_table(read_dictionary=[string_columns]) y una tabla cargada desde catalog.load_table(table_name). Compara table.append(df), table.upsert(df, join_cols=[primary_keys]) y table.update(df, join_cols=[primary_keys]); se considera terminado cuando upsert y update manejan columnas codificadas como dictionary sin el error Invalid Type Dictionary reportado.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
databases
Tipo de issue
Error
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Activo
Claridad
Bastante claro
Aptitud para principiantes
50/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.