[Java] Read a Parquet file into a Table
- Linguagem predominante
- Java
- Estrelas
- 94
- Forks
- 152
- Merge médio
- 3d 16h
- PRs com merge (30d)
- 11
Descrição
### Describe the usage question you have. Please include as many useful details as possible.
In Java, what is the canonical way of reading the whole content of a Parquet file into a Table?
I can read the file, as suggested, in a streaming fashion with VectorSchemaRoot, but then I miss how to collate all the batches into a single table.
From what I have understood, the options I have are:
1. build a big VectorSchemaRoot using VectorSchemaRootAppender, then invoke the Table constructor passing the vsr
2. construct FieldVectors explicitly, then read the parquet rows one by one (filling the FieldVectors as I go), then invoke the Table constructor passing a List
I see the C++ implementation has a convenient FromRecordBatches method.
### Component(s)
Java
Guia de contribuição
Direção de pesquisa
Comece lendo o uso em Java de VectorSchemaRoot, VectorSchemaRootAppender e dos construtores de Table; em seguida, compare-o com a implementação C++ FromRecordBatches mencionada na issue. O trabalho estará concluído quando o projeto tiver um caminho canônico decidido e documentado para carregar um arquivo Parquet completo em uma Table, ou uma API Java equivalente com cobertura.
Escrita pelo modelo de indexação a partir do texto da issue.
Avaliação
- Stack de tecnologia
- java
- Domínio
- data
- Tipo de issue
- Funcionalidade
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Status de atividade
- Estagnada
- Clareza
- Precisa de esclarecimento
- Facilidade para iniciantes
- 30/100