apache / apache/arrow-java

[Java] Investigate potential performance improvement of compression codec

Đang mở
#388 13 bình luận 0 reaction 0 người được giao Xem trên GitHub
Type: enhancement
Ngôn ngữ chính
Java
Star
94
Fork
152
Merge trung bình
3 ngày 16 giờ
Pull request đã merge (30 ngày)
11

Mô tả

In response to the discussion in https://github.com/apache/arrow/pull/8949/files#r588046787

There are some performance penalties in the implementation of the compression codecs (e.g. data copying between heap/off-heap data). We need to revise the code to improve the performance.

We should also provide some benchmarks to validate that the performance actually improves.

**Reporter**: [Liya Fan](https://issues.apache.org/jira/browse/ARROW-11901) / @liyafan82

**Note**: *This issue was originally created as [ARROW-11901](https://issues.apache.org/jira/browse/ARROW-11901). Please see the [migration documentation](https://github.com/apache/arrow/issues/14542) for further details.*

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu với phần triển khai codec nén và cuộc thảo luận trong pull request được liên kết, tập trung vào việc sao chép dữ liệu heap/off-heap đã được nêu. Thêm benchmark cho các codec liên quan và sử dụng chúng để xác minh rằng mọi bản triển khai được sửa đổi đều cải thiện hiệu năng.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java
Lĩnh vực
performance
Loại issue
Tái cấu trúc
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.