Not able to do backwards compatible projection
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
Currently the following scenarios fail while using projections. This makes it hard to do backwards compatible schema changes like adding an optional field or making a required field optional.
1. Adding an optional field to an existing thrift schema and making it part of the projection for reading data written using older thrift.
2. Projecting a required field using optional.
**Reporter**: [Mouli Mukherjee](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=moulim)
#### PRs and other links:
- [GitHub Pull Request #558](https://github.com/apache/parquet-mr/pull/558)
**Note**: *This issue was originally created as [PARQUET-1464](https://issues.apache.org/jira/browse/PARQUET-1464). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Revisa los escenarios de proyección descritos en el issue, especialmente la adición de un campo Thrift opcional y la proyección de un campo obligatorio como opcional. Lee primero GitHub Pull Request #558 y la documentación de migración enlazada; después, utiliza esos materiales para determinar qué comportamiento de proyección se ve afectado y qué pruebas de compatibilidad siguen faltando.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java
- Área
- data-engineering
- Tipo de issue
- Error
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 25/100