Thrift projection does not handle new (optional) fields in requestedSchema
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
It should be valid to request an optional field that is not present in a file (it should be assumed to be null) but instead this throws eagerly in:
https://github.com/apache/parquet-mr/blob/d6f082b9be5d507ff60c6bc83a179cc44015ab97/parquet-hadoop/src/main/java/org/apache/parquet/hadoop/api/ReadSupport.java#L58
**Reporter**: [Alex Levenson](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=alexlevenson) / @isnotinvain
**Note**: *This issue was originally created as [PARQUET-347](https://issues.apache.org/jira/browse/PARQUET-347). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez dans parquet-hadoop/src/main/java/org/apache/parquet/hadoop/api/ReadSupport.java, à la ligne indiquée, et suivez la manière dont les champs de requestedSchema sont validés par rapport au schéma du fichier. Confirmez le comportement pour un champ facultatif absent du fichier, puis vérifiez que la projection le traite comme null au lieu de lever immédiatement une exception.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data
- Type d'issue
- Bug
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 35/100