apache / apache/parquet-java

Fix the bug when predicate contains columns not specified in prejection, to prevent filtering out data improperly

Abierto
#1,926 1 comentario 0 reacciones 0 asignados Ver en GitHub
Component: Java Component: Parquet Priority: Major Type: bug
Lenguaje dominante
Java
Estrellas
3.1k
Forks
1.6k
Merge medio
3 d 12 h
PR fusionados (30 d)
33

Descripción

As is reported in Parquet-427, data will be filtered out improperly under the case where:
1. predicates - requested schema ≠ ∅
2. predicates - file schema = ∅

To give an example:
data:

|a|b|
|-|-|
|1|1|
|2|2|
|3|3|

file schema: a,b, requested schema: a, and predicate: b = 1

we should get:

|a|
|-|
|1|

but we'll end up get nothing, which is wrong.

This issue proposes to fix this.

**Reporter**: [Liwei Lin(Inactive)](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=proflin) / @lw-lin
**Assignee**: [Liwei Lin(Inactive)](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=proflin) / @lw-lin

**Note**: *This issue was originally created as [PARQUET-425](https://issues.apache.org/jira/browse/PARQUET-425). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Empieza leyendo el informe Parquet-427 enlazado y reproduce el ejemplo del issue con el esquema del archivo a,b, el esquema solicitado a y el predicado b = 1. No se indica ningún archivo fuente ni ninguna prueba; se considera terminado cuando el resultado conserva la fila con a = 1 en lugar de filtrar todos los datos.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
java
Área
databases
Tipo de issue
Error
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.