apache / apache/arrow-java

[Java][Docs] Document the use of the batchSize argument in Dataset ScanOptions

オープン
#303 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
Type: enhancement
主要言語
Java
スター
94
フォーク
152
平均マージ
3日 16時間
マージ済み PR(30日)
11

説明

Several ScanOptions methods take a batchSize argument as shown: 

`public ScanOptions(long batchSize) {`
`    this(batchSize, Optional.empty());`
``}

Since the scanner reads one ArrowRecordBatch per load invocation, setting the parameter to a size larger than the RecordBatch has no effect. It only works when it's smaller than the number of rows in the RecordBatch, (i.e., the number or records read is equal to min(batchSize, recordBatch rowCount), potentially leading to some confusion. 

**Reporter**: [Larry White](https://issues.apache.org/jira/browse/ARROW-17346) / @lwhite1

**Note**: *This issue was originally created as [ARROW-17346](https://issues.apache.org/jira/browse/ARROW-17346). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

batchSizeを受け取るDataset ScanOptionsのメソッドから始め、スキャナーが呼び出しごとに1つのArrowRecordBatchを読み込む仕組みを追跡します。RecordBatchの行数より大きい値には追加の効果がなく、小さい値ではレコード数がmin(batchSize, recordBatch rowCount)に制限されることを文書化します。ScanOptionsのドキュメントでこの動作が明確になれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
documentation
issue の種類
ドキュメント
難易度
2/5
見積もり時間
1〜3時間
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
48/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。