apache / apache/parquet-java

Thrift projection does not handle new (optional) fields in requestedSchema

Abierto
#1,864 1 comentario 0 reacciones 0 asignados Ver en GitHub
Component: Java Component: Parquet Priority: Major Type: bug
Lenguaje dominante
Java
Estrellas
3.1k
Forks
1.6k
Merge medio
3 d 12 h
PR fusionados (30 d)
33

Descripción

It should be valid to request an optional field that is not present in a file (it should be assumed to be null) but instead this throws eagerly in:

https://github.com/apache/parquet-mr/blob/d6f082b9be5d507ff60c6bc83a179cc44015ab97/parquet-hadoop/src/main/java/org/apache/parquet/hadoop/api/ReadSupport.java#L58

**Reporter**: [Alex Levenson](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=alexlevenson) / @isnotinvain

**Note**: *This issue was originally created as [PARQUET-347](https://issues.apache.org/jira/browse/PARQUET-347). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Comienza en parquet-hadoop/src/main/java/org/apache/parquet/hadoop/api/ReadSupport.java, en la línea referenciada, y sigue cómo se validan los campos de requestedSchema frente al esquema del archivo. Confirma el comportamiento para un campo opcional ausente en el archivo y verifica después que la proyección lo trate como null en lugar de lanzar una excepción de forma inmediata.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
java
Área
data
Tipo de issue
Error
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.