Could we provide a potentially larger InternalParquetRecordWriter.getDataSize
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
The following code currently has getDataSize as an estimated value. The Iceberg rolling file write operation relies on this method, which may result in writing files that are much smaller than expected.
```JAVA
/**
* @return the total size of data written to the file and buffered in memory
*/
public long getDataSize() {
return lastRowGroupEndPos + columnStore.getBufferedSize();
}
```
Could we provide a potentially larger getDataSize? I can't think of any downsides at the moment.
### Component(s)
_No response_
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Localiza InternalParquetRecordWriter.getDataSize y rastrea cómo la operación de escritura de archivos rotativos de Iceberg utiliza su valor. Compara el tamaño informado con los datos realmente escritos y almacenados en búfer; después, define y prueba una estimación de tamaño mayor y segura que evite archivos inesperadamente pequeños.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java
- Área
- data-engineering
- Tipo de issue
- Error
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 35/100