apache / apache/parquet-java

column chunk page write store log message displays incorrect information

Ouverte
#1,399 3 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Component: Java Component: Parquet Priority: Minor Type: bug
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

It is printing the size of the dictionary (in terms of the number of keys) twice and calling the second time the 'compressed byte count'. An accurate account of that number would be very helpful for accounting for disk space usage. The actual 'compressed byte count' is indeed calculated at a point near there so I am guessing this is a simple mistake.

see:
https://github.com/apache/incubator-parquet-mr/blob/master/parquet-hadoop/src/main/java/parquet/hadoop/ColumnChunkPageWriteStore.java#L152

**Reporter**: [Ian Barfield](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=ianbarfield)

**Note**: *This issue was originally created as [PARQUET-71](https://issues.apache.org/jira/browse/PARQUET-71). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Ouvrez parquet-hadoop/src/main/java/parquet/hadoop/ColumnChunkPageWriteStore.java à la ligne référencée et examinez le message de log voisin ainsi que le calcul du nombre d’octets compressés. C’est terminé lorsque le log du store indique le nombre réel d’octets compressés au lieu d’imprimer deux fois la taille du dictionnaire.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data-engineering
Type d'issue
Bug
Difficulté
1/5
Temps estimé
Moins d'une heure
Activité
À l'abandon
Clarté
Clairement spécifiée
Accessibilité débutants
58/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.