should control the maximum memory usage
- Ngôn ngữ chính
- Java
- Star
- 94
- Fork
- 152
- Merge trung bình
- 3 ngày 16 giờ
- Pull request đã merge (30 ngày)
- 11
Mô tả
### Describe the enhancement requested
`ArrowVectorIterator::consume` only concern about the `ArrowVectorIterator#targetBatchSize` but not the memory used.
Let's suppose a scenario:
1. A database table with a longtext field;
2. All of the rows in the table are larger than 500M;
3. `ArrowVectorIterator#targetBatchSize` is 256;
We need at least for 125G memory to get one record batch.
So I think it's better add a parameter such as `maxBufferSize` to control the memory usage.
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu với ArrowVectorIterator::consume và cách xử lý targetBatchSize hiện có. Xác định giới hạn maxBufferSize nên tương tác như thế nào với việc xây dựng record-batch, sau đó xác định các bài kiểm thử cho những giá trị có độ dài biến đổi lớn; hoàn thành khi quá trình lặp tuân thủ giới hạn bộ nhớ mà không yêu cầu một batch quá lớn.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Tính năng
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100