ProtoReader does not iterate over the parquet file correctly.
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
The `ProtoParquetReader` does not iterate over the parquet file correctly, but it gets stuck in the first element and keeps reading as many times as elements the file contained.
In my Scala example I am just reading from a local file that I know for sure it contains right data.
```
val hadoopCOnf = new Configuration()
val outfile: String = genTemporaryFile()
val r: ParquetReader[Event.Builder] = {
ProtoParquetReader.builder[Event.Builder](new Path(outfile)).withConf(hadoopCOnf).build()
}
```
Notice that the proto schema that I am using is generated from
The generated proto implements com.google.protobuf.GeneratedMessageV3.
See an example on how the ProtoParquetReader is created line(65 and 69):
and here how it is used (notice that is defined for only one record, the same one for multiple records would fail)
**Reporter**: [Pau Alarcon ](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=paualarco)
**Note**: *This issue was originally created as [PARQUET-1871](https://issues.apache.org/jira/browse/PARQUET-1871). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Comienza con ProtoParquetReader y compara su construcción en ProtoParquetFixture.scala de monix-connect, alrededor de las líneas 65-69, con su uso en ProtoParquetSpec.scala, alrededor de la línea 83. Reproduce el comportamiento con varios registros y verifica que la iteración devuelva registros sucesivos en lugar de repetir el primero.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java, scala
- Área
- data-engineering
- Tipo de issue
- Error
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 35/100