apache / apache/parquet-java

Expected distinct numbers is not parsed correctly

Ouverte
#2,451 2 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Component: Java Component: Parquet Priority: Critical Type: bug
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

In the bloom filter feature, when I pass the expected distinct numbers as below, I got null values instead of 1000 and 200.
```java

import org.apache.hadoop.conf.Configuration;

Configuration conf = new Configuration();

conf.set("parquet.bloom.filter.column.names", "content,line"); conf.set("parquet.bloom.filter.expected.ndv","1000,200");
```
 
The issue is coming from getting the system property of expected distinct numbers through [Long.getLong(expectedNDVs[i])|https://github.com/apache/parquet-mr/blob/a737141a571e3cb6cee2c252dc4406e26e6c1177/parquet-hadoop/src/main/java/org/apache/parquet/hadoop/ParquetOutputFormat.java#L251].

 

It's possible to fix it by parsing the string with Long.parseLong(expectedNDVs[i]).

 

**Reporter**: [Walid Gara](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=garawalid) / @garawalid
**Assignee**: [Walid Gara](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=garawalid) / @garawalid
#### PRs and other links:
- [GitHub Pull Request #753](https://github.com/apache/parquet-mr/pull/753)

**Note**: *This issue was originally created as [PARQUET-1787](https://issues.apache.org/jira/browse/PARQUET-1787). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Ouvrez parquet-hadoop/src/main/java/org/apache/parquet/hadoop/ParquetOutputFormat.java autour de la ligne 251 et suivez la manière dont parquet.bloom.filter.expected.ndv est lu depuis la configuration. Reproduisez l’exemple avec les valeurs 1000 et 200, puis vérifiez que les nombres distincts attendus sont conservés au lieu de devenir null.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data
Type d'issue
Bug
Difficulté
1/5
Temps estimé
Moins d'une heure
Activité
À l'abandon
Clarté
Clairement spécifiée
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.