apache / apache/arrow-java

[Java] nullable arrow schema write to parquet error

未關閉
#89 0 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視
主要語言
Java
星號
94
分支
152
平均合併
3 天 16 小時
30 天內合併 PR
11

描述

### Describe the usage question you have. Please include as many useful details as possible.

When I convert nullable avro schema to nullable arrow schema and write as parquet file, meet a exception

"Unhandled type for Arrow to Parquet schema conversion: sparse_union"

It seems arrow-avro not support SPARE_UNION

how can I use nullable schema in arrow, please help me.

### Component(s)

Java

貢獻指南

開啟貢獻指南

研究方向

首先重現回報的從 nullable Avro schema 到 nullable Arrow schema 的轉換,然後將其寫入 Parquet 檔案並擷取 sparse_union 失敗。確認轉換路徑是否支援此 schema,並記錄預期行為或限制;issue 中未識別出原始碼檔案或測試。

由索引模型根據 Issue 內容生成。

評估

技術堆疊
java
領域
data-engineering
Issue 類型
缺陷
難度
4/5
預估耗時
3-5 天
活躍度
停滯
描述清晰度
需要釐清
新手友好度
30/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。