apache / apache/parquet-java

Schema creation from another schema will not be possible - deprecated

Abierto
#2,351 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Component: Java Component: Parquet Priority: Major Type: bug
Lenguaje dominante
Java
Estrellas
3.1k
Forks
1.6k
Merge medio
3 d 12 h
PR fusionados (30 d)
33

Descripción

Imagine I have a current schema and want to create a projection schema from that. One option is the schema.Types.\*Builder but the more direct version would be to clone the schema itself without children.

`List l = new ArrayList<>();`
` for (String c : childmappings.keySet()) {`
`  Mapping m = childmappings.get(c);`
`  l.add(m.getProjectionSchema());`
` `}
` GroupType gt = new GroupType(schema.getRepetition(), schema.getName(), schema.getOriginalType(), l);`

 

The last line, the new GroupType(..) constructor is deprecated. We should use the version with the LogicalTypeAnnotation instead. Fine. But how do you get the LogicalTypeAnnotation  from an existing schema?

I feel you should not deprecate these methods and if, provide an extra method to create a Type column from a type column (column alone, without children. Else the projection would have all child columns).

 

Do you agree?

 

**Reporter**: [Werner Daehn](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=wdaehn) / @wernerdaehn

**Note**: *This issue was originally created as [PARQUET-1620](https://issues.apache.org/jira/browse/PARQUET-1620). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Empieza leyendo las sobrecargas del constructor de GroupType y las API de schema.Types.*Builder y LogicalTypeAnnotation referenciadas en el issue. Revisa la documentación de migración enlazada y el uso existente de esquemas de proyección para determinar la dirección compatible. Se considera terminado cuando la preocupación sobre la deprecación y la creación de un tipo de esquema sin elementos hijos estén resueltas o claramente documentadas.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
java
Área
data-engineering
Tipo de issue
Nueva funcionalidad
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.