Not able to do backwards compatible projection
- 主要言語
- Java
- スター
- 3.1k
- フォーク
- 1.6k
- 平均マージ
- 3日 12時間
- マージ済み PR(30日)
- 33
説明
Currently the following scenarios fail while using projections. This makes it hard to do backwards compatible schema changes like adding an optional field or making a required field optional.
1. Adding an optional field to an existing thrift schema and making it part of the projection for reading data written using older thrift.
2. Projecting a required field using optional.
**Reporter**: [Mouli Mukherjee](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=moulim)
#### PRs and other links:
- [GitHub Pull Request #558](https://github.com/apache/parquet-mr/pull/558)
**Note**: *This issue was originally created as [PARQUET-1464](https://issues.apache.org/jira/browse/PARQUET-1464). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
issue に記載されている projection シナリオを確認してください。特に、optional な Thrift フィールドの追加と、required フィールドを optional として projection する場合を重点的に確認します。まず GitHub Pull Request #558 とリンク先の migration ドキュメントを読み、その後、それらの資料を使って影響を受ける projection の動作と、まだ不足している互換性テストを判断してください。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- data-engineering
- issue の種類
- バグ
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100