apache / apache/iceberg-python
BucketTransform fails on dictionary-encoded pyArrow arrays
- 主要语言
- Python
- 星标
- 1.1k
- 派生
- 581
- 平均合并
- 1 天 17 小时
- 30 天内合并 PR
- 78
描述
### Apache Iceberg version
0.9.1
### Please describe the bug 🐞
Pyiceberg version - 0.9.1 (also reproduced with 0,11.1)
Pyiceberg core version - 0.9.1
table created with bucket transform
df = pyarrow.read_table(read_dictionary=string_columns)
table.append(df)
ValueError : Feature Unsupported => Unsupported data type for bucket transform: Dictionary (Int32, Utf8)
### Willingness to contribute
- [ ] I can contribute a fix for this bug independently
- [ ] I would be willing to contribute a fix for this bug with guidance from the Iceberg community
- [x] I cannot contribute a fix for this bug at this time
贡献指南
这个仓库没有索引到贡献指南
调研方向
使用 bucket transform,通过 pyarrow.read_table(read_dictionary=string_columns) 后执行 table.append(df) 来复现该失败。检查对 Dictionary (Int32, Utf8) 数组的 bucket transform 处理;当使用 Dictionary 编码的列可以追加而不会出现 unsupported-data-type error 时,即表示完成。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- python
- 领域
- databases
- Issue 类型
- 缺陷
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 活跃度
- 冷清
- 描述清晰度
- 基本清楚
- 新手友好度
- 55/100