Pool SeekableInputStreams in ParquetFileReader
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
If https://issues.apache.org/jira/browse/PARQUET-1982 goes through, then we could allow parallel reading of row groups with a pool of SeekableInputStreams. This would significantly boost performance for applications that read data at random positions from a large file.
I've already developed a patch that would enable this functionality. I will link the merge request in the next few days.
Is there a related ticket that i have overlooked?
**Reporter**: [Felix Schmalzel](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=fschmalzel) / @fschmalzel
**Note**: *This issue was originally created as [PARQUET-1983](https://issues.apache.org/jira/browse/PARQUET-1983). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Comienza revisando PARQUET-1982 y la implementación existente de ParquetFileReader para comprender el prerrequisito y el manejo actual de streams. Se considera completado cuando se habiliten las lecturas paralelas de grupos de filas mediante un pool de SeekableInputStreams, con el comportamiento de rendimiento validado para lecturas en posiciones aleatorias.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java
- Área
- data-engineering
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 25/100