apache / apache/parquet-java

Handle special values of floating point statistics

Offen
#2,595 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Java Component: Parquet Priority: Major Type: bug
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

Based on PARQUET-1251 we have implemented the suggested workaround but it is not complete in all situations.
- We handle the special floating point values at row-group level in parquet-mr but only for the read path. For the write path we still write these values.
- For column indexes we handle these values but only for the write path and not for the read path.

We should implement the workaround for both read and write paths for all cases so we not only handle potentially invalid values but also don't write them to the file.

**Reporter**: [Gabor Szadovszky](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=gszadovszky) / @gszadovszky
**Assignee**: [Gabor Szadovszky](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=gszadovszky) / @gszadovszky

**Note**: *This issue was originally created as [PARQUET-2017](https://issues.apache.org/jira/browse/PARQUET-2017). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne damit, die bestehende Behandlung spezieller Gleitkommawerte für Zeilengruppenstatistiken und Spaltenindizes nachzuverfolgen, einschließlich der Lese- und Schreibpfade. Stelle sicher, dass der Workaround in jedem Fall angewendet wird, einschließlich der Verhinderung, dass diese Werte in Dateien geschrieben werden, und füge für die betroffenen Pfade eine Testabdeckung hinzu oder aktualisiere sie.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.