parquet-tools SimpleRecord does not display empty fields
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
When using parquet-tools on a parquet file with null records the null columns are omitted from the output.
Example:
```java
scala> case class Foo(a: Int, b: String)
defined class Foo
scala> org.apache.spark.sql.SparkSession.builder.getOrCreate.createDataset((0 to 1000).map(x => Foo(1,null))).write.parquet("/tmp/foobar/")
```
Actual:
```java
☁ parquet-tools [master] ⚡ java -jar target/parquet-tools-1.10.1-SNAPSHOT.jar cat -j /tmp/foobar/part-00000-436a4d37-d82a-4771-8e7e-e4d428464675-c000.snappy.parquet | head -n5
{"a":1}
{"a":1}
{"a":1}
{"a":1}
{"a":1}
```
Expected:
```java
☁ parquet-tools [master] ⚡ java -jar target/parquet-tools-1.10.1-SNAPSHOT.jar cat -j /tmp/foobar/part-00000-436a4d37-d82a-4771-8e7e-e4d428464675-c000.snappy.parquet | head -n5
{"a":1,"b":null}
{"a":1,"b":null}
{"a":1,"b":null}
{"a":1,"b":null}
{"a":1,"b":null}
```
**Reporter**: [Nicholas Rushton](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=Nick+Rushton)
#### PRs and other links:
- [GitHub Pull Request #518](https://github.com/apache/parquet-mr/pull/518)
**Note**: *This issue was originally created as [PARQUET-1408](https://issues.apache.org/jira/browse/PARQUET-1408). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Comienza con el comando `cat -j` de parquet-tools y su ruta de salida de `SimpleRecord`, usando como caso de reproducción el ejemplo proporcionado con campos null. El trabajo está terminado cuando los registros con columnas null se emiten con esos campos presentes y establecidos en null, coincidiendo con la salida JSON esperada; revisa Pull Request #518 para consultar el trabajo existente.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java
- Área
- cli, data
- Tipo de issue
- Error
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Estado de actividad
- Estancado
- Claridad
- Bien especificado
- Aptitud para principiantes
- 25/100