InternalParquetRecordWriter doesn't immediately limit current row group to threshold
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
The MemoryManager adjust the row group size threshold of writers when the allocated memory pool fills up.
**Problem**: However InternalParquetRecordWriter only re-adjusts the row group size on the next flush meaning they still use the old size.
This opens up a possibility of getting an OOM error if all writers are started at relatively the same time and progress in tandem(I saw this when investigating failing jobs while writing to disk in Spark)
**Reporter**: [Brian Mwambazi](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=brimzi) / @brimzi
#### PRs and other links:
- [GitHub Pull Request #748](https://github.com/apache/parquet-mr/pull/748)
**Note**: *This issue was originally created as [PARQUET-1767](https://issues.apache.org/jira/browse/PARQUET-1767). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Comienza revisando GitHub Pull Request #748 y los puntos de entrada InternalParquetRecordWriter y MemoryManager mencionados en el issue. Confirma cómo se actualiza el umbral del row group cuando el pool de memoria se llena y verifica que los writers dejen de usar inmediatamente el umbral anterior para que los writers paralelos no corran el riesgo de provocar un OOM.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java
- Área
- data-engineering
- Tipo de issue
- Error
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 25/100