[Java] Arrow native reader load next batch importing vector from c causing performance degrade
Aberta
- Linguagem predominante
- Java
- Estrelas
- 94
- Forks
- 152
- Merge médio
- 3d 16h
- PRs com merge (30d)
- 11
Descrição
### Describe the bug, including details regarding any error messages, version, and platform.
it seems the native reader is first read the data into c vector, then import it into java format, causing significant performance degrade.
I wonder if it is possible to read directly from c vector ?
### Component(s)
Java
Guia de contribuição
Direção de pesquisa
Comece pelo caminho load-next-batch do Java Arrow native reader e pela degradação de desempenho relatada. Faça o profiling da importação atual de um C vector para Java e determine se a leitura direta é viável; considera-se concluído quando houver uma melhoria medida sem alterar os resultados do reader.
Escrita pelo modelo de indexação a partir do texto da issue.
Avaliação
- Stack de tecnologia
- java
- Domínio
- performance
- Tipo de issue
- Bug
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Status de atividade
- Estagnada
- Clareza
- Precisa de esclarecimento
- Facilidade para iniciantes
- 30/100