Pig and Hive cannot read repeated groups written with parquet-protobuf
- 主要言語
- Java
- スター
- 3.1k
- フォーク
- 1.6k
- 平均マージ
- 3日 12時間
- マージ済み PR(30日)
- 33
説明
parquet-hive and parquet-pig make assumptions about list schemas that are not compatible with the more compact schemas generated by parquet-protobuf. This bug was discussed in more detail on https://github.com/Parquet/parquet-mr/issues/354
**Reporter**: [Nathan Howell](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=NathanHowell)
**Note**: *This issue was originally created as [PARQUET-14](https://issues.apache.org/jira/browse/PARQUET-14). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
まず parquet-hive と parquet-pig の list-schema 処理を読み、次に issue 354 の議論を使って、parquet-protobuf がどのようにコンパクトな repeated-group スキーマを生成するのかを理解してください。完了条件は、既存の list-schema 処理を壊すことなく、両方の reader がそれらのスキーマを受け入れることです。内容には具体的なファイル名やテストが示されていないため、まずそれらのエントリポイントを特定する必要があります。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- data-engineering
- issue の種類
- バグ
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100