ParquetThriftOutputFormat does not store any optional primitive values in parquet file
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
As per title, I created a simple record with thrift IDL and used the ParquetThriftOutputFormat.
The library would not write any of the optional primitive even if set, it would write only if they are specified as required.
parquet-mr: 1.11.1
thrift 0.13.0
**Reporter**: [Daniel Morales](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=tenentedan9)
**Note**: *This issue was originally created as [PARQUET-1955](https://issues.apache.org/jira/browse/PARQUET-1955). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Comienza reproduciendo el problema con ParquetThriftOutputFormat mediante un registro Thrift que contenga campos primitivos optional y comparando los campos optional y required en el archivo Parquet resultante. Se considera terminado cuando los valores establecidos de los campos primitivos optional se escriben y se pueden volver a leer, en lugar de omitirse.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java
- Área
- data-engineering
- Tipo de issue
- Error
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 35/100