Make writeAllFields more efficient in proto-parquet component
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
This will improve the write performance by 1/3 - 1/4 based on my testing. It makes a huge difference when dealing with really large files (several GBs).
In the original implementation, a significant time was spent on creating unnecessary Java objects.
**Reporter**: [Chen Song](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=capricornius)
**Assignee**: [Chen Song](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=capricornius)
**Note**: *This issue was originally created as [PARQUET-535](https://issues.apache.org/jira/browse/PARQUET-535). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng cách xác định writeAllFields trong thành phần proto-parquet và xem xét đường dẫn tạo đối tượng hiện tại của nó. Sử dụng kịch bản hiệu năng với tệp lớn trong issue làm benchmark; được xem là hoàn thành khi phương thức tránh các đối tượng Java không cần thiết đã được xác định trong phần triển khai và cho thấy sự cải thiện hiệu năng ghi như dự kiến.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Tái cấu trúc
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 30/100