apache / apache/parquet-java

column chunk page write store log message displays incorrect information

Offen
#1,399 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Java Component: Parquet Priority: Minor Type: bug
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

It is printing the size of the dictionary (in terms of the number of keys) twice and calling the second time the 'compressed byte count'. An accurate account of that number would be very helpful for accounting for disk space usage. The actual 'compressed byte count' is indeed calculated at a point near there so I am guessing this is a simple mistake.

see:
https://github.com/apache/incubator-parquet-mr/blob/master/parquet-hadoop/src/main/java/parquet/hadoop/ColumnChunkPageWriteStore.java#L152

**Reporter**: [Ian Barfield](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=ianbarfield)

**Note**: *This issue was originally created as [PARQUET-71](https://issues.apache.org/jira/browse/PARQUET-71). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Öffne parquet-hadoop/src/main/java/parquet/hadoop/ColumnChunkPageWriteStore.java an der referenzierten Zeile und untersuche die nahegelegene Logmeldung sowie die Berechnung der Anzahl komprimierter Bytes. Erledigt ist es, wenn das Store-Log die tatsächliche Anzahl komprimierter Bytes meldet, statt die Größe des Wörterbuchs zweimal auszugeben.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Bug
Schwierigkeit
1/5
Geschätzter Aufwand
Unter einer Stunde
Aktivitätsstatus
Veraltet
Klarheit
Klar beschrieben
Anfängerfreundlichkeit
58/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.