apache / apache/parquet-java

Question on parquet-protobuf and parquet-pig

Aperta
#1,870 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Component: Java Component: Parquet Priority: Major Type: bug
Lingua principale
Java
Stelle
3.1k
Fork
1.6k
Merge medio
3g 12h
PR unite (30g)
33

Descrizione

Hi,

I have a question about protobuf to parquet conversion.
I have a message like this (simplified) :
```Java

message MyMessage {
repeated string language = 1;
}
```

parquet-protobuf convert it to the following schema :

```Java
message MyMessage {
repeated binary language (UTF8);
}
```

But, according to TestPigSchameConverter.java, the correct schema should be :

```Java
message MyMessage {
optional group language (LIST) {
repeated binary value (UTF8);
}
}
```

Language is an optional list of language, i want to store zero or more language.

Who have the correct schema for my case ? parquet-protobuf or parquet-pig ?

**Reporter**: [Christian Nguyen Van Than](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=cnguyen@nextperf.com)

**Note**: *This issue was originally created as [PARQUET-354](https://issues.apache.org/jira/browse/PARQUET-354). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Confronta il comportamento di conversione di protobuf con lo schema previsto in TestPigSchameConverter.java, iniziando da come parquet-protobuf e parquet-pig rappresentano i campi string ripetuti. Determina se gli schemi differiscono erroneamente per zero o più valori e documenta una conclusione riproducibile o un test che stabilisca quale rappresentazione sia corretta.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
data-engineering
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.