apache / apache/parquet-java

column chunk page write store log message displays incorrect information

Abierto
#1,399 3 comentarios 0 reacciones 0 asignados Ver en GitHub
Component: Java Component: Parquet Priority: Minor Type: bug
Lenguaje dominante
Java
Estrellas
3.1k
Forks
1.6k
Merge medio
3 d 12 h
PR fusionados (30 d)
33

Descripción

It is printing the size of the dictionary (in terms of the number of keys) twice and calling the second time the 'compressed byte count'. An accurate account of that number would be very helpful for accounting for disk space usage. The actual 'compressed byte count' is indeed calculated at a point near there so I am guessing this is a simple mistake.

see:
https://github.com/apache/incubator-parquet-mr/blob/master/parquet-hadoop/src/main/java/parquet/hadoop/ColumnChunkPageWriteStore.java#L152

**Reporter**: [Ian Barfield](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=ianbarfield)

**Note**: *This issue was originally created as [PARQUET-71](https://issues.apache.org/jira/browse/PARQUET-71). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Abre parquet-hadoop/src/main/java/parquet/hadoop/ColumnChunkPageWriteStore.java en la línea referenciada e inspecciona el mensaje de log cercano y el cálculo de la cantidad de bytes comprimidos. Está hecho cuando el log del store informa de la cantidad real de bytes comprimidos en lugar de imprimir dos veces el tamaño del diccionario.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
java
Área
data-engineering
Tipo de issue
Error
Dificultad
1/5
Tiempo estimado
Menos de una hora
Estado de actividad
Estancado
Claridad
Bien especificado
Aptitud para principiantes
58/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.