[Java] Avro to Arrow converter doesn't appear to generate valid arrow data
- 主要言語
- Java
- スター
- 94
- フォーク
- 152
- 平均マージ
- 3日 16時間
- マージ済み PR(30日)
- 11
説明
I think this is related to how Unions are handled (I had thought unions of with a null and one other type would get created to the nullable type, but that is a separate issue).
I haven't had time to fully diagnose, but remnants of the code I tried to use are at
And the CSV file from https://issues.apache.org/jira/browse/ARROW-11629?jql=text%20~%20%22arrow%20drill%20parquet%20dictionary%22
produce data that isn't readable by the C++ implementation.
**Reporter**: [Micah Kornfield](https://issues.apache.org/jira/browse/ARROW-12340) / @emkornfield
**Note**: *This issue was originally created as [ARROW-12340](https://issues.apache.org/jira/browse/ARROW-12340). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*
コントリビューションガイド
調査の方向性
Java Avro-to-Arrow コンバーターから始め、ARROW-11629 で参照されている CSV ファイルを使って問題を再現してください。リンク先の gist に残っているものを確認し、union の処理に焦点を当ててから、生成されたデータを C++ 実装が受け入れるものと比較してください。コンバーターが C++ 実装で読み取り可能な Arrow データを生成し、失敗する入力に対する回帰テストがあれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- data-engineering
- issue の種類
- バグ
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 35/100