Fix the bug when predicate contains columns not specified in prejection, to prevent filtering out data improperly
- 主要语言
- Java
- 星标
- 3.1k
- 派生
- 1.6k
- 平均合并
- 3 天 12 小时
- 30 天内合并 PR
- 33
描述
As is reported in Parquet-427, data will be filtered out improperly under the case where:
1. predicates - requested schema ≠ ∅
2. predicates - file schema = ∅
To give an example:
data:
|a|b|
|-|-|
|1|1|
|2|2|
|3|3|
file schema: a,b, requested schema: a, and predicate: b = 1
we should get:
|a|
|-|
|1|
but we'll end up get nothing, which is wrong.
This issue proposes to fix this.
**Reporter**: [Liwei Lin(Inactive)](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=proflin) / @lw-lin
**Assignee**: [Liwei Lin(Inactive)](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=proflin) / @lw-lin
**Note**: *This issue was originally created as [PARQUET-425](https://issues.apache.org/jira/browse/PARQUET-425). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
贡献指南
这个仓库没有索引到贡献指南
调研方向
首先阅读链接的 Parquet-427 报告,并使用文件 schema a,b、请求的 schema a 以及谓词 b = 1 重现 issue 中的示例。未指定源文件或测试;完成的标准是结果保留 a = 1 的行,而不是过滤掉所有数据。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- java
- 领域
- databases
- Issue 类型
- 缺陷
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 活跃度
- 停滞
- 描述清晰度
- 基本清楚
- 新手友好度
- 35/100