Improve dictionary filter evaluating notEq
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
When evaluating `notEq`, if the column may contain nulls and the `notEq` value is non-null, the row-group must not be skipped. In such scenario reading dictionary and compare values is not necessary.
**Reporter**: [Yujiang Zhong](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=zhongyuj) / @zhongyujiang
**Note**: *This issue was originally created as [PARQUET-2245](https://issues.apache.org/jira/browse/PARQUET-2245). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
El issue no menciona ningún archivo fuente, prueba ni punto de entrada. Empieza localizando la implementación del filtro de diccionario y sus pruebas; después reproduce el caso notEq en el que la columna puede contener valores null y confirma que el row group no se omite sin una comparación innecesaria del diccionario.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java
- Área
- data-engineering
- Tipo de issue
- Error
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 35/100