apache / apache/iceberg-python

BucketTransform fails on dictionary-encoded pyArrow arrays

Abierto
#3,633 1 comentario 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
1.1k
Forks
581
Merge medio
1 d 17 h
PR fusionados (30 d)
78

Descripción

### Apache Iceberg version

0.9.1

### Please describe the bug 🐞

Pyiceberg version - 0.9.1 (also reproduced with 0,11.1)
Pyiceberg core version - 0.9.1

table created with bucket transform

df = pyarrow.read_table(read_dictionary=string_columns)

table.append(df)

ValueError : Feature Unsupported => Unsupported data type for bucket transform: Dictionary (Int32, Utf8)

### Willingness to contribute

- [ ] I can contribute a fix for this bug independently
- [ ] I would be willing to contribute a fix for this bug with guidance from the Iceberg community
- [x] I cannot contribute a fix for this bug at this time

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Reproduce the failure with pyarrow.read_table(read_dictionary=string_columns) followed by table.append(df) using a bucket transform. Inspect the bucket-transform handling for Dictionary (Int32, Utf8) arrays; done means dictionary-encoded columns can be appended without the unsupported-data-type error.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
databases
Tipo de issue
Error
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Tranquilo
Claridad
Bastante claro
Aptitud para principiantes
55/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.