[Java] Read a Parquet file into a Table
- Lenguaje dominante
- Java
- Estrellas
- 94
- Forks
- 152
- Merge medio
- 3 d 16 h
- PR fusionados (30 d)
- 11
Descripción
### Describe the usage question you have. Please include as many useful details as possible.
In Java, what is the canonical way of reading the whole content of a Parquet file into a Table?
I can read the file, as suggested, in a streaming fashion with VectorSchemaRoot, but then I miss how to collate all the batches into a single table.
From what I have understood, the options I have are:
1. build a big VectorSchemaRoot using VectorSchemaRootAppender, then invoke the Table constructor passing the vsr
2. construct FieldVectors explicitly, then read the parquet rows one by one (filling the FieldVectors as I go), then invoke the Table constructor passing a List
I see the C++ implementation has a convenient FromRecordBatches method.
### Component(s)
Java
Guía de contribución
Línea de trabajo
Empieza leyendo el uso en Java de VectorSchemaRoot, VectorSchemaRootAppender y los constructores de Table; después, compáralo con la implementación de C++ FromRecordBatches mencionada en el issue. Se considera terminado cuando el proyecto tenga un camino canónico decidido y documentado para cargar un archivo Parquet completo en una Table, o una API de Java equivalente con cobertura.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java
- Área
- data
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 30/100