ParquetThriftOutputFormat does not store any optional primitive values in parquet file
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
As per title, I created a simple record with thrift IDL and used the ParquetThriftOutputFormat.
The library would not write any of the optional primitive even if set, it would write only if they are specified as required.
parquet-mr: 1.11.1
thrift 0.13.0
**Reporter**: [Daniel Morales](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=tenentedan9)
**Note**: *This issue was originally created as [PARQUET-1955](https://issues.apache.org/jira/browse/PARQUET-1955). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par reproduire le problème avec ParquetThriftOutputFormat en utilisant un enregistrement Thrift contenant des champs primitifs optional, puis comparez les champs optional et required dans le fichier Parquet obtenu. Le travail est terminé lorsque les valeurs définies des champs primitifs optional sont écrites et peuvent être relues au lieu d’être omises.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering
- Type d'issue
- Bug
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 35/100