apache / apache/arrow-java

[Java] Support reading a subset of fields from an IPC file or stream

Aperta
#242 0 commenti 1 reazione 0 assegnatari Vedi su GitHub
Type: enhancement
Lingua principale
Java
Stelle
94
Fork
152
Merge medio
3g 16h
PR unite (30g)
11

Descrizione

C++ supports `IpcReadOptions.included_fields` which lets you load a subset of (top-level) fields from an IPC file or stream, potentially saving on I/O costs. It would be useful to support this in Java as well. Some refactoring would be required since MessageSerializer currently reads record batch messages in as a whole, and it would be good to quantify how much of a benefit this provides in different scenarios.

**Reporter**: [David Li](https://issues.apache.org/jira/browse/ARROW-17914) / @lidavidm

**Note**: *This issue was originally created as [ARROW-17914](https://issues.apache.org/jira/browse/ARROW-17914). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia con MessageSerializer e traccia il modo in cui i messaggi di record batch vengono attualmente letti da file e stream IPC. Confronta il comportamento desiderato con C++ IpcReadOptions.included_fields, quindi definisci come dovrebbe funzionare la selezione dei campi di primo livello e quantifica il vantaggio in termini di I/O nei diversi scenari.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
data
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
30/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.