[Java] Support reading a subset of fields from an IPC file or stream
- Lingua principale
- Java
- Stelle
- 94
- Fork
- 152
- Merge medio
- 3g 16h
- PR unite (30g)
- 11
Descrizione
C++ supports `IpcReadOptions.included_fields` which lets you load a subset of (top-level) fields from an IPC file or stream, potentially saving on I/O costs. It would be useful to support this in Java as well. Some refactoring would be required since MessageSerializer currently reads record batch messages in as a whole, and it would be good to quantify how much of a benefit this provides in different scenarios.
**Reporter**: [David Li](https://issues.apache.org/jira/browse/ARROW-17914) / @lidavidm
**Note**: *This issue was originally created as [ARROW-17914](https://issues.apache.org/jira/browse/ARROW-17914). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia con MessageSerializer e traccia il modo in cui i messaggi di record batch vengono attualmente letti da file e stream IPC. Confronta il comportamento desiderato con C++ IpcReadOptions.included_fields, quindi definisci come dovrebbe funzionare la selezione dei campi di primo livello e quantifica il vantaggio in termini di I/O nei diversi scenari.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- java
- Ambito
- data
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 30/100