apache / apache/arrow-java

[Java] Arrow native reader load next batch importing vector from c causing performance degrade

Ouverte
#164 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Java
Étoiles
94
Forks
152
Merge moyen
3 j 16 h
PR mergées (30 j)
11

Description

### Describe the bug, including details regarding any error messages, version, and platform.

it seems the native reader is first read the data into c vector, then import it into java format, causing significant performance degrade.

Screenshot 2023-09-14 at 15 14 07

I wonder if it is possible to read directly from c vector ?

### Component(s)

Java

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par le chemin load-next-batch du Java Arrow native reader et la dégradation des performances signalée. Profilez l’importation actuelle d’un C vector vers Java et déterminez si une lecture directe est réalisable ; le travail est considéré comme terminé lorsqu’une amélioration mesurée est obtenue sans modifier les résultats du reader.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
performance
Type d'issue
Bug
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
30/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.