apache / apache/iceberg-python

BucketTransform fails on dictionary-encoded pyArrow arrays

未關閉
#3,633 1 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視
主要語言
Python
星號
1.1k
分支
581
平均合併
1 天 13 小時
30 天內合併 PR
76

描述

### Apache Iceberg version

0.9.1

### Please describe the bug 🐞

Pyiceberg version - 0.9.1 (also reproduced with 0,11.1)
Pyiceberg core version - 0.9.1

table created with bucket transform

df = pyarrow.read_table(read_dictionary=string_columns)

table.append(df)

ValueError : Feature Unsupported => Unsupported data type for bucket transform: Dictionary (Int32, Utf8)

### Willingness to contribute

- [ ] I can contribute a fix for this bug independently
- [ ] I would be willing to contribute a fix for this bug with guidance from the Iceberg community
- [x] I cannot contribute a fix for this bug at this time

貢獻指南

這個儲存庫沒有索引到貢獻指南

研究方向

使用 bucket transform,透過 pyarrow.read_table(read_dictionary=string_columns) 後執行 table.append(df) 來重現此失敗。檢查對 Dictionary (Int32, Utf8) 陣列的 bucket transform 處理;當使用 Dictionary 編碼的欄位可以追加而不會出現 unsupported-data-type error 時,即表示完成。

由索引模型根據 Issue 內容生成。

評估

技術堆疊
python
領域
databases
Issue 類型
缺陷
難度
3/5
預估耗時
1-2 天
活躍度
冷清
描述清晰度
基本清楚
新手友好度
55/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。