ParquetReader directory read using InputFile
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
Using Hadoop Path, users can read from directories (excluding hidden files) using a single ParquetReader. This is not yet possible using the InputFile API. To resolve this, a generic way should be added for directories to be read, consistent with the behaviour of the read API when using a Hadoop Path.
**Reporter**: [Atour Mousavi Gourabi](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=amousavigourabi) / @amousavigourabi
**Note**: *This issue was originally created as [PARQUET-2404](https://issues.apache.org/jira/browse/PARQUET-2404). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Comienza comparando el comportamiento existente de lectura de directorios de Hadoop Path con la InputFile API descrita en el issue. Define cómo debe funcionar una lectura genérica de directorio, incluido excluir los archivos ocultos y conservar el comportamiento de un único lector; después, verifica el resultado frente al comportamiento de la read API existente.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java
- Área
- data-engineering
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 35/100