Support empty structs in Thrift
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
It is tricky to support in parquet because struct fields are stored in the definition levels of the fields they contain.
So if there is no content, they can not be stored.
Here is a proposed solution to support this in Parquet: https://github.com/apache/incubator-parquet-mr/pull/65
Basically, I'm adding an artificial optional field in the struct that will be always null but will store whether the struct that contains it is defined or not.
**Reporter**: [Julien Le Dem](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=julienledem) / @julienledem
**Assignee**: [Julien Le Dem](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=julienledem) / @julienledem
**Note**: *This issue was originally created as [PARQUET-103](https://issues.apache.org/jira/browse/PARQUET-103). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par lire la solution proposée dans parquet-mr pull request 65 ainsi que le contexte sur la représentation des structures vides dans Parquet. Le travail est terminé lorsque parquet-java prend en charge la lecture et l’écriture de structures vides tout en préservant le fait que la structure soit définie ou null.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering
- Type d'issue
- Fonctionnalité
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 25/100