apache / apache/arrow-java

[Java] Support reading a subset of fields from an IPC file or stream

Offen
#242 0 Kommentare 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen
Type: enhancement
Vorherrschende Sprache
Java
Sterne
94
Forks
152
Ø Merge
3 T. 16 Std.
Gemergte PRs (30 T.)
11

Beschreibung

C++ supports `IpcReadOptions.included_fields` which lets you load a subset of (top-level) fields from an IPC file or stream, potentially saving on I/O costs. It would be useful to support this in Java as well. Some refactoring would be required since MessageSerializer currently reads record batch messages in as a whole, and it would be good to quantify how much of a benefit this provides in different scenarios.

**Reporter**: [David Li](https://issues.apache.org/jira/browse/ARROW-17914) / @lidavidm

**Note**: *This issue was originally created as [ARROW-17914](https://issues.apache.org/jira/browse/ARROW-17914). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit MessageSerializer und verfolge, wie Record-Batch-Nachrichten derzeit aus IPC-Dateien und -Streams gelesen werden. Vergleiche das gewünschte Verhalten mit C++ IpcReadOptions.included_fields und definiere anschließend, wie die Auswahl von Feldern der obersten Ebene funktionieren soll, und quantifiziere den I/O-Vorteil für verschiedene Szenarien.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
30/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.