apache / apache/parquet-java

Support empty structs in Thrift

Aperta
#1,589 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Component: Java Component: Parquet Priority: Major Type: enhancement
Lingua principale
Java
Stelle
3.1k
Fork
1.6k
Merge medio
3g 12h
PR unite (30g)
33

Descrizione

It is tricky to support in parquet because struct fields are stored in the definition levels of the fields they contain.
So if there is no content, they can not be stored.
Here is a proposed solution to support this in Parquet: https://github.com/apache/incubator-parquet-mr/pull/65
Basically, I'm adding an artificial optional field in the struct that will be always null but will store whether the struct that contains it is defined or not.

**Reporter**: [Julien Le Dem](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=julienledem) / @julienledem
**Assignee**: [Julien Le Dem](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=julienledem) / @julienledem

**Note**: *This issue was originally created as [PARQUET-103](https://issues.apache.org/jira/browse/PARQUET-103). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia leggendo la soluzione proposta in parquet-mr pull request 65 e il contesto su come vengono rappresentate le struct vuote in Parquet. Il lavoro è completo quando parquet-java supporta la lettura e la scrittura di struct vuote, preservando se la struct è definita o null.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
data-engineering
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.