[Java] nullable arrow schema write to parquet error
オープン
- 主要言語
- Java
- スター
- 94
- フォーク
- 152
- 平均マージ
- 3日 16時間
- マージ済み PR(30日)
- 11
説明
### Describe the usage question you have. Please include as many useful details as possible.
When I convert nullable avro schema to nullable arrow schema and write as parquet file, meet a exception
"Unhandled type for Arrow to Parquet schema conversion: sparse_union"
It seems arrow-avro not support SPARE_UNION
how can I use nullable schema in arrow, please help me.
### Component(s)
Java
コントリビューションガイド
調査の方向性
まず、nullable Avro スキーマから nullable Arrow スキーマへの報告された変換を再現し、次にそれを Parquet ファイルとして書き込み、sparse_union の失敗を記録します。このスキーマが変換パスでサポートされているかを確認し、期待される動作または制限を文書化してください。issue ではソースファイルやテストは特定されていません。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- data-engineering
- issue の種類
- バグ
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 30/100