apache / apache/parquet-java

Unable to create bloomfilter when writing duplicates values for a field

Offen
#1,698 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Java Component: Parquet Priority: Critical Type: bug
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

I'm unable to create a bloomfilter for a field, when I perform writes with repeating values. The bloomfilter returned is null when I try to read such a parquet file. If there are no repeating values, the bloomfilter is created without any issue.
The working and non-working case in captured in the below repo

**Reporter**: [Mahesh Pai](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=maheshgpai)

**Note**: *This issue was originally created as [PARQUET-2484](https://issues.apache.org/jira/browse/PARQUET-2484). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Reproduziere die funktionierenden und fehlschlagenden Fälle aus dem verlinkten parquet-mr-test-Repository, beginnend bei src/test/java/com/mahesh/test/AppTest.java etwa in Zeile 73. Vergleiche die Erstellung und das Lesen von bloomfilter bei wiederholten gegenüber eindeutigen Feldwerten und füge anschließend einen Regressionstest hinzu, der zeigt, dass bloomfilter bei doppelten Werten nicht null ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.