apache / apache/arrow-java

[Java] Arrow native reader load next batch importing vector from c causing performance degrade

Abierto
#164 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Java
Estrellas
94
Forks
152
Merge medio
3 d 16 h
PR fusionados (30 d)
11

Descripción

### Describe the bug, including details regarding any error messages, version, and platform.

it seems the native reader is first read the data into c vector, then import it into java format, causing significant performance degrade.

Screenshot 2023-09-14 at 15 14 07

I wonder if it is possible to read directly from c vector ?

### Component(s)

Java

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza con la ruta load-next-batch del Java Arrow native reader y la degradación de rendimiento informada. Perfila la importación actual de un C vector a Java y determina si la lectura directa es viable; se considerará terminado cuando haya una mejora medida sin cambiar los resultados del reader.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
java
Área
performance
Tipo de issue
Error
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
30/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.