[Java] Arrow native reader load next batch importing vector from c causing performance degrade
Đang mở
- Ngôn ngữ chính
- Java
- Star
- 94
- Fork
- 152
- Merge trung bình
- 3 ngày 16 giờ
- Pull request đã merge (30 ngày)
- 11
Mô tả
### Describe the bug, including details regarding any error messages, version, and platform.
it seems the native reader is first read the data into c vector, then import it into java format, causing significant performance degrade.
I wonder if it is possible to read directly from c vector ?
### Component(s)
Java
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu với đường dẫn load-next-batch của Java Arrow native reader và mức suy giảm hiệu năng đã được báo cáo. Profile quá trình import hiện tại từ một C vector vào Java và xác định liệu việc đọc trực tiếp có khả thi hay không; chỉ được xem là hoàn tất khi có cải thiện đo được mà không thay đổi kết quả của reader.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- performance
- Loại issue
- Lỗi
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 30/100