apache / apache/parquet-java

Expected distinct numbers is not parsed correctly

オープン
#2,451 コメント 2 件 リアクション 0 件 担当者 0 名 GitHub で見る
Component: Java Component: Parquet Priority: Critical Type: bug
主要言語
Java
スター
3.1k
フォーク
1.6k
平均マージ
3日 12時間
マージ済み PR(30日)
33

説明

In the bloom filter feature, when I pass the expected distinct numbers as below, I got null values instead of 1000 and 200.
```java

import org.apache.hadoop.conf.Configuration;

Configuration conf = new Configuration();

conf.set("parquet.bloom.filter.column.names", "content,line"); conf.set("parquet.bloom.filter.expected.ndv","1000,200");
```
 
The issue is coming from getting the system property of expected distinct numbers through [Long.getLong(expectedNDVs[i])|https://github.com/apache/parquet-mr/blob/a737141a571e3cb6cee2c252dc4406e26e6c1177/parquet-hadoop/src/main/java/org/apache/parquet/hadoop/ParquetOutputFormat.java#L251].

 

It's possible to fix it by parsing the string with Long.parseLong(expectedNDVs[i]).

 

**Reporter**: [Walid Gara](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=garawalid) / @garawalid
**Assignee**: [Walid Gara](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=garawalid) / @garawalid
#### PRs and other links:
- [GitHub Pull Request #753](https://github.com/apache/parquet-mr/pull/753)

**Note**: *This issue was originally created as [PARQUET-1787](https://issues.apache.org/jira/browse/PARQUET-1787). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

parquet-hadoop/src/main/java/org/apache/parquet/hadoop/ParquetOutputFormat.java を251行目付近で開き、parquet.bloom.filter.expected.ndv が設定からどのように読み取られるかを追跡します。値 1000 と 200 を使って例を再現し、期待される個別の数値が null になるのではなく保持されることを確認します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
data
issue の種類
バグ
難易度
1/5
見積もり時間
1時間未満
活発さ
停滞
明瞭さ
明確に書かれている
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。