Question on parquet-protobuf and parquet-pig
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
Hi,
I have a question about protobuf to parquet conversion.
I have a message like this (simplified) :
```Java
message MyMessage {
repeated string language = 1;
}
```
parquet-protobuf convert it to the following schema :
```Java
message MyMessage {
repeated binary language (UTF8);
}
```
But, according to TestPigSchameConverter.java, the correct schema should be :
```Java
message MyMessage {
optional group language (LIST) {
repeated binary value (UTF8);
}
}
```
Language is an optional list of language, i want to store zero or more language.
Who have the correct schema for my case ? parquet-protobuf or parquet-pig ?
**Reporter**: [Christian Nguyen Van Than](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=cnguyen@nextperf.com)
**Note**: *This issue was originally created as [PARQUET-354](https://issues.apache.org/jira/browse/PARQUET-354). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Comparez le comportement de conversion de protobuf avec le schéma attendu dans TestPigSchameConverter.java, en commençant par la manière dont parquet-protobuf et parquet-pig représentent les champs string répétés. Déterminez si les schémas diffèrent de manière incorrecte pour zéro valeur ou plus, et documentez une conclusion reproductible ou un test permettant de déterminer quelle représentation est correcte.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering
- Type d'issue
- Bug
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 25/100