apache / apache/parquet-java

column chunk page write store log message displays incorrect information

Aperta
#1,399 3 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Component: Java Component: Parquet Priority: Minor Type: bug
Lingua principale
Java
Stelle
3.1k
Fork
1.6k
Merge medio
3g 12h
PR unite (30g)
33

Descrizione

It is printing the size of the dictionary (in terms of the number of keys) twice and calling the second time the 'compressed byte count'. An accurate account of that number would be very helpful for accounting for disk space usage. The actual 'compressed byte count' is indeed calculated at a point near there so I am guessing this is a simple mistake.

see:
https://github.com/apache/incubator-parquet-mr/blob/master/parquet-hadoop/src/main/java/parquet/hadoop/ColumnChunkPageWriteStore.java#L152

**Reporter**: [Ian Barfield](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=ianbarfield)

**Note**: *This issue was originally created as [PARQUET-71](https://issues.apache.org/jira/browse/PARQUET-71). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Apri parquet-hadoop/src/main/java/parquet/hadoop/ColumnChunkPageWriteStore.java alla riga indicata e ispeziona il messaggio di log vicino e il calcolo del numero di byte compressi. È completato quando il log dello store riporta il numero effettivo di byte compressi invece di stampare due volte la dimensione del dizionario.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
data-engineering
Tipo di issue
Bug
Difficoltà
1/5
Tempo stimato
Meno di un'ora
Stato di attività
Ferma
Chiarezza
Specificata chiaramente
Idoneità per principianti
58/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.