Throw Exception when predicate contains columns not specified in prejection, to prevent filtering out data improperly
- 主要言語
- Java
- スター
- 3.1k
- フォーク
- 1.6k
- 平均マージ
- 3日 12時間
- マージ済み PR(30日)
- 33
説明
As is reported by Parquet-425, data will be filtered out improperly under certain cases.
Before Parquet-425 is fixed, let's throw an Exception to warn the upper application that work-arounds should be done.
**Reporter**: [Liwei Lin(Inactive)](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=proflin) / @lw-lin
**Assignee**: [Liwei Lin(Inactive)](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=proflin) / @lw-lin
#### Externally tracked issue: [https://issues.apache.org/jira/browse/PARQUET-425](https://issues.apache.org/jira/browse/PARQUET-425)
**Note**: *This issue was originally created as [PARQUET-426](https://issues.apache.org/jira/browse/PARQUET-426). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
まず Parquet-425 の報告と関連する PARQUET-426 issue の履歴を確認し、影響を受ける predicate と projection の処理を特定します。投影された列に対して predicate が評価される箇所を追跡し、predicate 列が指定されていないケースではデータをフィルタリングするのではなく例外が発生することを検証します。issue にはファイルまたはテストのパスが記載されていません。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- data-engineering
- issue の種類
- バグ
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100