Add option to reuse (Avro) objects when reading
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
Instead of creating an object for each record, Avro DatumReaders support passing in an object to be reused. It would be nice to expose this in Parquet.
This could be turned on with a setting in the job configuration.
**Reporter**: [Sandy Ryza](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=sandyr) / @sryza
**Note**: *This issue was originally created as [PARQUET-5](https://issues.apache.org/jira/browse/PARQUET-5). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Comienza rastreando la ruta de lectura de registros de Parquet y comparándola con la reutilización de objetos de Avro DatumReader; después, identifica cómo la configuración del job podría controlar el comportamiento. Se considera terminado cuando los readers pueden reutilizar objetos opcionalmente al leer registros, y la configuración y el comportamiento esperado están definidos y cubiertos por las pruebas apropiadas.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java
- Área
- data-engineering
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 35/100