apache / apache/arrow-java

[Java] Read a Parquet file into a Table

Aberta
#95 0 comentários 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
Java
Estrelas
94
Forks
152
Merge médio
3d 16h
PRs com merge (30d)
11

Descrição

### Describe the usage question you have. Please include as many useful details as possible.

In Java, what is the canonical way of reading the whole content of a Parquet file into a Table?

I can read the file, as suggested, in a streaming fashion with VectorSchemaRoot, but then I miss how to collate all the batches into a single table.

From what I have understood, the options I have are:

1. build a big VectorSchemaRoot using VectorSchemaRootAppender, then invoke the Table constructor passing the vsr
2. construct FieldVectors explicitly, then read the parquet rows one by one (filling the FieldVectors as I go), then invoke the Table constructor passing a List

I see the C++ implementation has a convenient FromRecordBatches method.

### Component(s)

Java

Guia de contribuição

Abrir o guia de contribuição

Direção de pesquisa

Comece lendo o uso em Java de VectorSchemaRoot, VectorSchemaRootAppender e dos construtores de Table; em seguida, compare-o com a implementação C++ FromRecordBatches mencionada na issue. O trabalho estará concluído quando o projeto tiver um caminho canônico decidido e documentado para carregar um arquivo Parquet completo em uma Table, ou uma API Java equivalente com cobertura.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
java
Domínio
data
Tipo de issue
Funcionalidade
Dificuldade
4/5
Tempo estimado
3-5 dias
Status de atividade
Estagnada
Clareza
Precisa de esclarecimento
Facilidade para iniciantes
30/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.