apache / apache/parquet-java

parquet-tools SimpleRecord does not display empty fields

Abierto
#2,224 2 comentarios 0 reacciones 0 asignados Ver en GitHub
Component: Parquet Priority: Minor Type: bug
Lenguaje dominante
Java
Estrellas
3.1k
Forks
1.6k
Merge medio
3 d 12 h
PR fusionados (30 d)
33

Descripción

When using parquet-tools on a parquet file with null records the null columns are omitted from the output.

 

Example:
```java

scala> case class Foo(a: Int, b: String)
defined class Foo

scala> org.apache.spark.sql.SparkSession.builder.getOrCreate.createDataset((0 to 1000).map(x => Foo(1,null))).write.parquet("/tmp/foobar/")
```
Actual:
```java

☁  parquet-tools [master] ⚡  java -jar target/parquet-tools-1.10.1-SNAPSHOT.jar cat -j /tmp/foobar/part-00000-436a4d37-d82a-4771-8e7e-e4d428464675-c000.snappy.parquet | head -n5
{"a":1}
{"a":1}
{"a":1}
{"a":1}
{"a":1}
```
Expected:
```java

☁  parquet-tools [master] ⚡  java -jar target/parquet-tools-1.10.1-SNAPSHOT.jar cat -j /tmp/foobar/part-00000-436a4d37-d82a-4771-8e7e-e4d428464675-c000.snappy.parquet | head -n5
{"a":1,"b":null}
{"a":1,"b":null}
{"a":1,"b":null}
{"a":1,"b":null}
{"a":1,"b":null}
```
 

**Reporter**: [Nicholas Rushton](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=Nick+Rushton)
#### PRs and other links:
- [GitHub Pull Request #518](https://github.com/apache/parquet-mr/pull/518)

**Note**: *This issue was originally created as [PARQUET-1408](https://issues.apache.org/jira/browse/PARQUET-1408). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Comienza con el comando `cat -j` de parquet-tools y su ruta de salida de `SimpleRecord`, usando como caso de reproducción el ejemplo proporcionado con campos null. El trabajo está terminado cuando los registros con columnas null se emiten con esos campos presentes y establecidos en null, coincidiendo con la salida JSON esperada; revisa Pull Request #518 para consultar el trabajo existente.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
java
Área
cli, data
Tipo de issue
Error
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Estancado
Claridad
Bien especificado
Aptitud para principiantes
25/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.