apache / apache/arrow-java

[Java] nullable arrow schema write to parquet error

未关闭
#89 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Java
星标
94
派生
152
平均合并
3 天 16 小时
30 天内合并 PR
11

描述

### Describe the usage question you have. Please include as many useful details as possible.

When I convert nullable avro schema to nullable arrow schema and write as parquet file, meet a exception

"Unhandled type for Arrow to Parquet schema conversion: sparse_union"

It seems arrow-avro not support SPARE_UNION

how can I use nullable schema in arrow, please help me.

### Component(s)

Java

贡献指南

打开贡献指南

调研方向

首先重现报告的从 nullable Avro schema 到 nullable Arrow schema 的转换,然后将其写入 Parquet 文件并捕获 sparse_union 失败。确认转换路径是否支持此 schema,并记录预期行为或限制;issue 中未确定源文件或测试。

由索引模型根据 Issue 内容生成。

评估

技术栈
java
领域
data-engineering
Issue 类型
缺陷
难度
4/5
预计耗时
3-5 天
活跃度
停滞
描述清晰度
需要澄清
新手友好度
30/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。