Fix the bug when predicate contains columns not specified in prejection, to prevent filtering out data improperly
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
As is reported in Parquet-427, data will be filtered out improperly under the case where:
1. predicates - requested schema ≠ ∅
2. predicates - file schema = ∅
To give an example:
data:
|a|b|
|-|-|
|1|1|
|2|2|
|3|3|
file schema: a,b, requested schema: a, and predicate: b = 1
we should get:
|a|
|-|
|1|
but we'll end up get nothing, which is wrong.
This issue proposes to fix this.
**Reporter**: [Liwei Lin(Inactive)](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=proflin) / @lw-lin
**Assignee**: [Liwei Lin(Inactive)](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=proflin) / @lw-lin
**Note**: *This issue was originally created as [PARQUET-425](https://issues.apache.org/jira/browse/PARQUET-425). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng cách đọc báo cáo Parquet-427 được liên kết và tái hiện ví dụ của issue với schema của tệp là a,b, schema được yêu cầu là a và predicate b = 1. Không có tệp nguồn hoặc test nào được nêu; được coi là hoàn thành khi kết quả giữ lại hàng có a = 1 thay vì lọc bỏ toàn bộ dữ liệu.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- databases
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100