apache / apache/parquet-java

Question on parquet-protobuf and parquet-pig

Ouverte
#1,870 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Component: Java Component: Parquet Priority: Major Type: bug
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

Hi,

I have a question about protobuf to parquet conversion.
I have a message like this (simplified) :
```Java

message MyMessage {
repeated string language = 1;
}
```

parquet-protobuf convert it to the following schema :

```Java
message MyMessage {
repeated binary language (UTF8);
}
```

But, according to TestPigSchameConverter.java, the correct schema should be :

```Java
message MyMessage {
optional group language (LIST) {
repeated binary value (UTF8);
}
}
```

Language is an optional list of language, i want to store zero or more language.

Who have the correct schema for my case ? parquet-protobuf or parquet-pig ?

**Reporter**: [Christian Nguyen Van Than](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=cnguyen@nextperf.com)

**Note**: *This issue was originally created as [PARQUET-354](https://issues.apache.org/jira/browse/PARQUET-354). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Comparez le comportement de conversion de protobuf avec le schéma attendu dans TestPigSchameConverter.java, en commençant par la manière dont parquet-protobuf et parquet-pig représentent les champs string répétés. Déterminez si les schémas diffèrent de manière incorrecte pour zéro valeur ou plus, et documentez une conclusion reproductible ou un test permettant de déterminer quelle représentation est correcte.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data-engineering
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.