Handle special values of floating point statistics
- Lingua principale
- Java
- Stelle
- 3.1k
- Fork
- 1.6k
- Merge medio
- 3g 12h
- PR unite (30g)
- 33
Descrizione
Based on PARQUET-1251 we have implemented the suggested workaround but it is not complete in all situations.
- We handle the special floating point values at row-group level in parquet-mr but only for the read path. For the write path we still write these values.
- For column indexes we handle these values but only for the write path and not for the read path.
We should implement the workaround for both read and write paths for all cases so we not only handle potentially invalid values but also don't write them to the file.
**Reporter**: [Gabor Szadovszky](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=gszadovszky) / @gszadovszky
**Assignee**: [Gabor Szadovszky](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=gszadovszky) / @gszadovszky
**Note**: *This issue was originally created as [PARQUET-2017](https://issues.apache.org/jira/browse/PARQUET-2017). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia tracciando la gestione esistente dei valori a virgola mobile speciali per le statistiche dei gruppi di righe e gli indici delle colonne, coprendo sia i percorsi di lettura sia quelli di scrittura. Verifica che la soluzione alternativa venga applicata in ogni caso, incluso impedire che questi valori vengano scritti nei file, e aggiungi o aggiorna la copertura dei percorsi interessati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- java
- Ambito
- data-engineering
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100