Vectorized API to support Column Index in Apache Spark
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
As per the comment on https://issues.apache.org/jira/browse/SPARK-26345. Its seems like Apache Spark doesn't support Column Index until we disable vectorizedReader in Spark - which will have other performance implications. As per @zivanfi , parquet-mr should implement a Vectorized API. Is it already implemented or any pull request for the same?
**Reporter**: [Felix Kizhakkel Jose](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=FelixKJose) / @FelixKJose
**Note**: *This issue was originally created as [PARQUET-1830](https://issues.apache.org/jira/browse/PARQUET-1830). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Issue này trỏ đến SPARK-26345 và hỏi liệu parquet-mr đã có API vectorized hoặc pull request liên quan hay chưa; trước tiên hãy xem lại cuộc thảo luận được liên kết và kiểm tra triển khai hiện tại của parquet-java. Done không được định nghĩa vì báo cáo hỏi liệu tính năng hỗ trợ có tồn tại hay không, thay vì chỉ định một thay đổi cụ thể.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Tính năng
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 20/100