apache / apache/arrow-java

[Java] Arrow native reader load next batch importing vector from c causing performance degrade

Aperta
#164 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Java
Stelle
94
Fork
152
Merge medio
3g 16h
PR unite (30g)
11

Descrizione

### Describe the bug, including details regarding any error messages, version, and platform.

it seems the native reader is first read the data into c vector, then import it into java format, causing significant performance degrade.

Screenshot 2023-09-14 at 15 14 07

I wonder if it is possible to read directly from c vector ?

### Component(s)

Java

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia dal percorso load-next-batch del Java Arrow native reader e dal degrado delle prestazioni segnalato. Esegui il profiling dell’importazione attuale di un C vector in Java e determina se la lettura diretta è fattibile; il lavoro è completato solo quando si ottiene un miglioramento misurato senza modificare i risultati del reader.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
performance
Tipo di issue
Bug
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
30/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.