apache / apache/arrow-java

[Java] Arrow native reader load next batch importing vector from c causing performance degrade

Aberta
#164 0 comentários 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
Java
Estrelas
94
Forks
152
Merge médio
3d 16h
PRs com merge (30d)
11

Descrição

### Describe the bug, including details regarding any error messages, version, and platform.

it seems the native reader is first read the data into c vector, then import it into java format, causing significant performance degrade.

Screenshot 2023-09-14 at 15 14 07

I wonder if it is possible to read directly from c vector ?

### Component(s)

Java

Guia de contribuição

Abrir o guia de contribuição

Direção de pesquisa

Comece pelo caminho load-next-batch do Java Arrow native reader e pela degradação de desempenho relatada. Faça o profiling da importação atual de um C vector para Java e determine se a leitura direta é viável; considera-se concluído quando houver uma melhoria medida sem alterar os resultados do reader.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
java
Domínio
performance
Tipo de issue
Bug
Dificuldade
5/5
Tempo estimado
Mais de uma semana
Status de atividade
Estagnada
Clareza
Precisa de esclarecimento
Facilidade para iniciantes
30/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.