Unable to create bloomfilter when writing duplicates values for a field
- 主要言語
- Java
- スター
- 3.1k
- フォーク
- 1.6k
- 平均マージ
- 3日 12時間
- マージ済み PR(30日)
- 33
説明
I'm unable to create a bloomfilter for a field, when I perform writes with repeating values. The bloomfilter returned is null when I try to read such a parquet file. If there are no repeating values, the bloomfilter is created without any issue.
The working and non-working case in captured in the below repo
**Reporter**: [Mahesh Pai](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=maheshgpai)
**Note**: *This issue was originally created as [PARQUET-2484](https://issues.apache.org/jira/browse/PARQUET-2484). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
リンクされた parquet-mr-test リポジトリの成功するケースと失敗するケースを、src/test/java/com/mahesh/test/AppTest.java の 73 行目付近から再現します。フィールド値が繰り返される場合と一意の場合で bloomfilter の作成と読み取りを比較し、その後、重複値に対して bloomfilter が null でないことを示す回帰テストを追加します。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- data
- issue の種類
- バグ
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 45/100