ParquetThriftOutputFormat does not store any optional primitive values in parquet file
- 主要言語
- Java
- スター
- 3.1k
- フォーク
- 1.6k
- 平均マージ
- 3日 12時間
- マージ済み PR(30日)
- 33
説明
As per title, I created a simple record with thrift IDL and used the ParquetThriftOutputFormat.
The library would not write any of the optional primitive even if set, it would write only if they are specified as required.
parquet-mr: 1.11.1
thrift 0.13.0
**Reporter**: [Daniel Morales](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=tenentedan9)
**Note**: *This issue was originally created as [PARQUET-1955](https://issues.apache.org/jira/browse/PARQUET-1955). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
まず、optional なプリミティブフィールドを含む Thrift レコードを使用して ParquetThriftOutputFormat の問題を再現し、生成された Parquet ファイル内の optional フィールドと required フィールドを比較します。optional なプリミティブ値が省略されずに書き込まれ、読み戻せるようになれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- data-engineering
- issue の種類
- バグ
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 35/100