ColumnIndex should provide number of records skipped
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
When integrating Parquet ColumnIndex, I found we need to know from Parquet that how many records that we skipped due to ColumnIndex filtering. When rowCount is 0, readNextFilteredRowGroup() just advance to next without telling the caller. See code here
In Iceberg, it reads Parquet record with an iterator. The hasNext() has the following code():
valuesRead + skippedValues < totalValues
See (
So without knowing the skipped values, it is hard to determine hasNext() or not.
Currently, we can workaround by using a flag. When readNextFilteredRowGroup() returns null, we consider it is done for the whole file. Then hasNext() just retrun false.
**Reporter**: [Xinli Shang](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=shangxinli) / @shangxinli
**Assignee**: [Xinli Shang](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=shangx@uber.com) / @shangxinli
**Note**: *This issue was originally created as [PARQUET-1927](https://issues.apache.org/jira/browse/PARQUET-1927). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Comienza en parquet-hadoop/src/main/java/org/apache/parquet/hadoop/ParquetFileReader.java, en readNextFilteredRowGroup(), y después compara la lógica de hasNext() del iterador en el cambio de Iceberg enlazado. Sigue cómo avanza un row group con rowCount 0 y determina cómo debe llegar al llamador el recuento de registros omitidos; el trabajo estará terminado cuando los llamadores puedan determinar de forma fiable si quedan registros después del filtrado de ColumnIndex.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java
- Área
- data-engineering
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 35/100