Parquet protobuf: List wrapper should be optional
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
Following , parquet-protobuf will conform to the specs[1] regarding the definition of lists and will adopt the 3-level structure:
```java
*required* group my_list (LIST) {
repeated group list {
optional binary element (UTF8);
}
}
```
The first level has the repetition level **required**, however this won't allow making the distinction between a null list and an empty one.
This ticket is for changing the root level repetition to **optional** as following:
```java
*optional* group my_list (LIST) {
repeated group list {
optional binary element (UTF8);
}
}
```
This will allow differentiating between null and empty lists.
[1] https://github.com/apache/parquet-format/blob/master/LogicalTypes.md#lists
**Reporter**: [Benoit Hanotte](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=b.hanotte)
**Note**: *This issue was originally created as [PARQUET-1216](https://issues.apache.org/jira/browse/PARQUET-1216). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par localiser l’implémentation parquet-protobuf des schémas de listes et comparez-la avec la Parquet lists specification liée dans l’issue et avec la modification de parquet-mr référencée. C’est terminé lorsque la root LIST group est optionnelle, tandis que la structure imbriquée de liste et d’élément reste telle qu’elle est présentée, ce qui permet de distinguer les listes null des listes vides.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering
- Type d'issue
- Bug
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 35/100