apache / apache/arrow-java

[Java] Support reading a subset of fields from an IPC file or stream

Ouverte
#242 0 commentaires 1 réaction 0 personnes assignées Voir sur GitHub
Type: enhancement
Langage dominant
Java
Étoiles
94
Forks
152
Merge moyen
3 j 16 h
PR mergées (30 j)
11

Description

C++ supports `IpcReadOptions.included_fields` which lets you load a subset of (top-level) fields from an IPC file or stream, potentially saving on I/O costs. It would be useful to support this in Java as well. Some refactoring would be required since MessageSerializer currently reads record batch messages in as a whole, and it would be good to quantify how much of a benefit this provides in different scenarios.

**Reporter**: [David Li](https://issues.apache.org/jira/browse/ARROW-17914) / @lidavidm

**Note**: *This issue was originally created as [ARROW-17914](https://issues.apache.org/jira/browse/ARROW-17914). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par MessageSerializer et suivez la manière dont les messages de record batch sont actuellement lus depuis des fichiers et des flux IPC. Comparez le comportement souhaité avec C++ IpcReadOptions.included_fields, puis définissez comment la sélection des champs de premier niveau doit fonctionner et quantifiez le gain en I/O dans différents scénarios.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
30/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.