[Java] Support reading a subset of fields from an IPC file or stream
- 主要言語
- Java
- スター
- 94
- フォーク
- 152
- 平均マージ
- 3日 16時間
- マージ済み PR(30日)
- 11
説明
C++ supports `IpcReadOptions.included_fields` which lets you load a subset of (top-level) fields from an IPC file or stream, potentially saving on I/O costs. It would be useful to support this in Java as well. Some refactoring would be required since MessageSerializer currently reads record batch messages in as a whole, and it would be good to quantify how much of a benefit this provides in different scenarios.
**Reporter**: [David Li](https://issues.apache.org/jira/browse/ARROW-17914) / @lidavidm
**Note**: *This issue was originally created as [ARROW-17914](https://issues.apache.org/jira/browse/ARROW-17914). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*
コントリビューションガイド
調査の方向性
MessageSerializer から始め、現在、record batch メッセージが IPC ファイルおよびストリームからどのように読み取られているかを追跡します。期待される動作を C++ IpcReadOptions.included_fields と比較し、そのうえでトップレベルフィールドの選択がどのように機能すべきかを定義し、さまざまなシナリオにおける I/O の利点を定量化します。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- data
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 30/100