[Java] Arrow native reader load next batch importing vector from c causing performance degrade
- Langage dominant
- Java
- Étoiles
- 94
- Forks
- 152
- Merge moyen
- 3 j 16 h
- PR mergées (30 j)
- 11
Description
### Describe the bug, including details regarding any error messages, version, and platform.
it seems the native reader is first read the data into c vector, then import it into java format, causing significant performance degrade.
I wonder if it is possible to read directly from c vector ?
### Component(s)
Java
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Commencez par le chemin load-next-batch du Java Arrow native reader et la dégradation des performances signalée. Profilez l’importation actuelle d’un C vector vers Java et déterminez si une lecture directe est réalisable ; le travail est considéré comme terminé lorsqu’une amélioration mesurée est obtenue sans modifier les résultats du reader.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- performance
- Type d'issue
- Bug
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 30/100