column chunk page write store log message displays incorrect information
- Lingua principale
- Java
- Stelle
- 3.1k
- Fork
- 1.6k
- Merge medio
- 3g 12h
- PR unite (30g)
- 33
Descrizione
It is printing the size of the dictionary (in terms of the number of keys) twice and calling the second time the 'compressed byte count'. An accurate account of that number would be very helpful for accounting for disk space usage. The actual 'compressed byte count' is indeed calculated at a point near there so I am guessing this is a simple mistake.
see:
https://github.com/apache/incubator-parquet-mr/blob/master/parquet-hadoop/src/main/java/parquet/hadoop/ColumnChunkPageWriteStore.java#L152
**Reporter**: [Ian Barfield](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=ianbarfield)
**Note**: *This issue was originally created as [PARQUET-71](https://issues.apache.org/jira/browse/PARQUET-71). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Apri parquet-hadoop/src/main/java/parquet/hadoop/ColumnChunkPageWriteStore.java alla riga indicata e ispeziona il messaggio di log vicino e il calcolo del numero di byte compressi. È completato quando il log dello store riporta il numero effettivo di byte compressi invece di stampare due volte la dimensione del dizionario.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- java
- Ambito
- data-engineering
- Tipo di issue
- Bug
- Difficoltà
- 1/5
- Tempo stimato
- Meno di un'ora
- Stato di attività
- Ferma
- Chiarezza
- Specificata chiaramente
- Idoneità per principianti
- 58/100