[Java][Docs] Document the use of the batchSize argument in Dataset ScanOptions
- Ngôn ngữ chính
- Java
- Star
- 94
- Fork
- 152
- Merge trung bình
- 3 ngày 16 giờ
- Pull request đã merge (30 ngày)
- 11
Mô tả
Several ScanOptions methods take a batchSize argument as shown:
`public ScanOptions(long batchSize) {`
` this(batchSize, Optional.empty());`
``}
Since the scanner reads one ArrowRecordBatch per load invocation, setting the parameter to a size larger than the RecordBatch has no effect. It only works when it's smaller than the number of rows in the RecordBatch, (i.e., the number or records read is equal to min(batchSize, recordBatch rowCount), potentially leading to some confusion.
**Reporter**: [Larry White](https://issues.apache.org/jira/browse/ARROW-17346) / @lwhite1
**Note**: *This issue was originally created as [ARROW-17346](https://issues.apache.org/jira/browse/ARROW-17346). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu với các phương thức Dataset ScanOptions chấp nhận batchSize và theo dõi cách scanner tải một ArrowRecordBatch cho mỗi lần gọi. Ghi lại rằng các giá trị lớn hơn số hàng của RecordBatch không có tác động bổ sung, trong khi các giá trị nhỏ hơn giới hạn số bản ghi ở mức min(batchSize, recordBatch rowCount); hoàn thành có nghĩa là tài liệu ScanOptions làm rõ hành vi này.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- documentation
- Loại issue
- Tài liệu
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 48/100