Handle special values of floating point statistics
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
Based on PARQUET-1251 we have implemented the suggested workaround but it is not complete in all situations.
- We handle the special floating point values at row-group level in parquet-mr but only for the read path. For the write path we still write these values.
- For column indexes we handle these values but only for the write path and not for the read path.
We should implement the workaround for both read and write paths for all cases so we not only handle potentially invalid values but also don't write them to the file.
**Reporter**: [Gabor Szadovszky](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=gszadovszky) / @gszadovszky
**Assignee**: [Gabor Szadovszky](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=gszadovszky) / @gszadovszky
**Note**: *This issue was originally created as [PARQUET-2017](https://issues.apache.org/jira/browse/PARQUET-2017). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne damit, die bestehende Behandlung spezieller Gleitkommawerte für Zeilengruppenstatistiken und Spaltenindizes nachzuverfolgen, einschließlich der Lese- und Schreibpfade. Stelle sicher, dass der Workaround in jedem Fall angewendet wird, einschließlich der Verhinderung, dass diese Werte in Dateien geschrieben werden, und füge für die betroffenen Pfade eine Testabdeckung hinzu oder aktualisiere sie.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100