apache / apache/iceberg-python
BucketTransform fails on dictionary-encoded pyArrow arrays
- Linguagem predominante
- Python
- Estrelas
- 1.1k
- Forks
- 581
- Merge médio
- 1d 17h
- PRs com merge (30d)
- 78
Descrição
### Apache Iceberg version
0.9.1
### Please describe the bug 🐞
Pyiceberg version - 0.9.1 (also reproduced with 0,11.1)
Pyiceberg core version - 0.9.1
table created with bucket transform
df = pyarrow.read_table(read_dictionary=string_columns)
table.append(df)
ValueError : Feature Unsupported => Unsupported data type for bucket transform: Dictionary (Int32, Utf8)
### Willingness to contribute
- [ ] I can contribute a fix for this bug independently
- [ ] I would be willing to contribute a fix for this bug with guidance from the Iceberg community
- [x] I cannot contribute a fix for this bug at this time
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Direção de pesquisa
Reproduza a falha com pyarrow.read_table(read_dictionary=string_columns), seguido de table.append(df), usando um bucket transform. Inspecione o tratamento do bucket transform para arrays Dictionary (Int32, Utf8); está concluído quando colunas codificadas com Dictionary puderem ser anexadas sem o unsupported-data-type error.
Escrita pelo modelo de indexação a partir do texto da issue.
Avaliação
- Stack de tecnologia
- python
- Domínio
- databases
- Tipo de issue
- Bug
- Dificuldade
- 3/5
- Tempo estimado
- 1-2 dias
- Status de atividade
- Pouca atividade
- Clareza
- Razoavelmente clara
- Facilidade para iniciantes
- 55/100