apache / apache/arrow-java

[C++][Java] Dataset: Support reading from fixed offset of a file for Parquet format

オープン
#307 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
Type: enhancement
主要言語
Java
スター
94
フォーク
152
平均マージ
3日 16時間
マージ済み PR(30日)
11

説明

This adds property start_offset_ and length_ to FileSource and should be functional for Parquet dataset format. Supporting Java and C++ dataset API at this time.

**Reporter**: [Jin Chengcheng](https://issues.apache.org/jira/browse/ARROW-17159) / @jinchengchenghh
#### Related issues:
- [[C++][Java] Dataset: Support reading from fixed offset of a file for Parquet format](https://github.com/apache/arrow/issues/20332) (is duplicated by)
#### PRs and other links:
- [GitHub Pull Request apache/arrow#13673](https://github.com/apache/arrow/pull/13673)
- [GitHub Pull Request apache/arrow#13688](https://github.com/apache/arrow/pull/13688)

**Note**: *This issue was originally created as [ARROW-17159](https://issues.apache.org/jira/browse/ARROW-17159). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず FileSource と、Java および C++ API における既存の Parquet データセット実装を確認し、次に PR #13673 と #13688、および重複 issue #20332 を調査します。start_offset_ と length_ を使用した固定オフセット読み取りが、両方の API で Parquet データセット形式に対して機能すれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
cpp, java
領域
api, data
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
20/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。