apache / apache/arrow-java

[Java][Docs] Document the use of the batchSize argument in Dataset ScanOptions

未關閉
#303 1 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視
Type: enhancement
主要語言
Java
星號
94
分支
152
平均合併
3 天 16 小時
30 天內合併 PR
11

描述

Several ScanOptions methods take a batchSize argument as shown: 

`public ScanOptions(long batchSize) {`
`    this(batchSize, Optional.empty());`
``}

Since the scanner reads one ArrowRecordBatch per load invocation, setting the parameter to a size larger than the RecordBatch has no effect. It only works when it's smaller than the number of rows in the RecordBatch, (i.e., the number or records read is equal to min(batchSize, recordBatch rowCount), potentially leading to some confusion. 

**Reporter**: [Larry White](https://issues.apache.org/jira/browse/ARROW-17346) / @lwhite1

**Note**: *This issue was originally created as [ARROW-17346](https://issues.apache.org/jira/browse/ARROW-17346). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

貢獻指南

開啟貢獻指南

研究方向

從接受 batchSize 的 Dataset ScanOptions 方法開始,追蹤掃描器如何在每次呼叫時載入一個 ArrowRecordBatch。記錄大於 RecordBatch 列數的值不會產生額外效果,而較小的值會將記錄數限制為 min(batchSize, recordBatch rowCount);當 ScanOptions 文件清楚說明此行為時,即表示完成。

由索引模型根據 Issue 內容生成。

評估

技術堆疊
java
領域
documentation
Issue 類型
文件
難度
2/5
預估耗時
1-3 小時
活躍度
停滯
描述清晰度
基本清楚
新手友好度
48/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。