Expected distinct numbers is not parsed correctly
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
In the bloom filter feature, when I pass the expected distinct numbers as below, I got null values instead of 1000 and 200.
```java
import org.apache.hadoop.conf.Configuration;
Configuration conf = new Configuration();
conf.set("parquet.bloom.filter.column.names", "content,line"); conf.set("parquet.bloom.filter.expected.ndv","1000,200");
```
The issue is coming from getting the system property of expected distinct numbers through [Long.getLong(expectedNDVs[i])|https://github.com/apache/parquet-mr/blob/a737141a571e3cb6cee2c252dc4406e26e6c1177/parquet-hadoop/src/main/java/org/apache/parquet/hadoop/ParquetOutputFormat.java#L251].
It's possible to fix it by parsing the string with Long.parseLong(expectedNDVs[i]).
**Reporter**: [Walid Gara](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=garawalid) / @garawalid
**Assignee**: [Walid Gara](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=garawalid) / @garawalid
#### PRs and other links:
- [GitHub Pull Request #753](https://github.com/apache/parquet-mr/pull/753)
**Note**: *This issue was originally created as [PARQUET-1787](https://issues.apache.org/jira/browse/PARQUET-1787). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Ouvrez parquet-hadoop/src/main/java/org/apache/parquet/hadoop/ParquetOutputFormat.java autour de la ligne 251 et suivez la manière dont parquet.bloom.filter.expected.ndv est lu depuis la configuration. Reproduisez l’exemple avec les valeurs 1000 et 200, puis vérifiez que les nombres distincts attendus sont conservés au lieu de devenir null.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data
- Type d'issue
- Bug
- Difficulté
- 1/5
- Temps estimé
- Moins d'une heure
- Activité
- À l'abandon
- Clarté
- Clairement spécifiée
- Accessibilité débutants
- 25/100