apache / apache/parquet-java

ParquetThriftOutputFormat does not store any optional primitive values in parquet file

Offen
#2,558 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Parquet Priority: Major Type: bug
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

As per title, I created a simple record with thrift IDL and used the ParquetThriftOutputFormat. 

The library would not write any of the optional primitive even if set, it would write only if they are specified as required. 

 

parquet-mr: 1.11.1

thrift 0.13.0

**Reporter**: [Daniel Morales](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=tenentedan9)

**Note**: *This issue was originally created as [PARQUET-1955](https://issues.apache.org/jira/browse/PARQUET-1955). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne damit, das Problem mit ParquetThriftOutputFormat zu reproduzieren, indem du einen Thrift-Datensatz mit optionalen primitiven Feldern verwendest und optionale und erforderliche Felder in der resultierenden Parquet-Datei vergleichst. Erledigt ist die Aufgabe, wenn gesetzte Werte primitiver optionaler Felder geschrieben und wieder gelesen werden können, anstatt weggelassen zu werden.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.