apache / apache/arrow-java

[Java][Docs] Document the use of the batchSize argument in Dataset ScanOptions

Đang mở
#303 1 bình luận 0 reaction 0 người được giao Xem trên GitHub
Type: enhancement
Ngôn ngữ chính
Java
Star
94
Fork
152
Merge trung bình
3 ngày 16 giờ
Pull request đã merge (30 ngày)
11

Mô tả

Several ScanOptions methods take a batchSize argument as shown: 

`public ScanOptions(long batchSize) {`
`    this(batchSize, Optional.empty());`
``}

Since the scanner reads one ArrowRecordBatch per load invocation, setting the parameter to a size larger than the RecordBatch has no effect. It only works when it's smaller than the number of rows in the RecordBatch, (i.e., the number or records read is equal to min(batchSize, recordBatch rowCount), potentially leading to some confusion. 

**Reporter**: [Larry White](https://issues.apache.org/jira/browse/ARROW-17346) / @lwhite1

**Note**: *This issue was originally created as [ARROW-17346](https://issues.apache.org/jira/browse/ARROW-17346). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu với các phương thức Dataset ScanOptions chấp nhận batchSize và theo dõi cách scanner tải một ArrowRecordBatch cho mỗi lần gọi. Ghi lại rằng các giá trị lớn hơn số hàng của RecordBatch không có tác động bổ sung, trong khi các giá trị nhỏ hơn giới hạn số bản ghi ở mức min(batchSize, recordBatch rowCount); hoàn thành có nghĩa là tài liệu ScanOptions làm rõ hành vi này.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java
Lĩnh vực
documentation
Loại issue
Tài liệu
Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
48/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.