apache / apache/parquet-java

InternalParquetRecordWriter flushRowGroupToStore not actually writing to file

Abierto
#3,171 5 comentarios 0 reacciones 0 asignados Ver en GitHub
Type: bug
Lenguaje dominante
Java
Estrellas
3.1k
Forks
1.6k
Merge medio
3 d 12 h
PR fusionados (30 d)
33

Descripción

### Describe the bug, including details regarding any error messages, version, and platform.

Description:
The flushRowGroupToStore method in InternalParquetRecordWriter purports to "Flush mem columnStore to file," but no data is actually written to the file system until the close method is invoked. This behavior is unexpected, as one would anticipate data being flushed.

Expected Result:
Data should be written to the file when flushRowGroupToStore is invoked, effectively flushing the in-memory column store contents to the file.

Actual Result:
File contents remain empty until the close method is called, where parquetFileWriter.end is invoked to write the data.

Version : parquet-hadoop 1.13.1

### Component(s)

_No response_

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Empieza leyendo InternalParquetRecordWriter, especialmente flushRowGroupToStore y close; después, sigue cómo parquetFileWriter.end escribe los datos almacenados en búfer. Confirma el límite de flush esperado y añade o actualiza la cobertura del contenido del archivo después de flushRowGroupToStore; se considera terminado cuando el archivo contiene el row group sometido a flush antes de invocar close.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
java
Área
data
Tipo de issue
Error
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
45/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.