[Java][Docs] Document the use of the batchSize argument in Dataset ScanOptions
- 主要言語
- Java
- スター
- 94
- フォーク
- 152
- 平均マージ
- 3日 16時間
- マージ済み PR(30日)
- 11
説明
Several ScanOptions methods take a batchSize argument as shown:
`public ScanOptions(long batchSize) {`
` this(batchSize, Optional.empty());`
``}
Since the scanner reads one ArrowRecordBatch per load invocation, setting the parameter to a size larger than the RecordBatch has no effect. It only works when it's smaller than the number of rows in the RecordBatch, (i.e., the number or records read is equal to min(batchSize, recordBatch rowCount), potentially leading to some confusion.
**Reporter**: [Larry White](https://issues.apache.org/jira/browse/ARROW-17346) / @lwhite1
**Note**: *This issue was originally created as [ARROW-17346](https://issues.apache.org/jira/browse/ARROW-17346). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*
コントリビューションガイド
調査の方向性
batchSizeを受け取るDataset ScanOptionsのメソッドから始め、スキャナーが呼び出しごとに1つのArrowRecordBatchを読み込む仕組みを追跡します。RecordBatchの行数より大きい値には追加の効果がなく、小さい値ではレコード数がmin(batchSize, recordBatch rowCount)に制限されることを文書化します。ScanOptionsのドキュメントでこの動作が明確になれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- documentation
- issue の種類
- ドキュメント
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 48/100