ParquetThriftOutputFormat does not store any optional primitive values in parquet file
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
As per title, I created a simple record with thrift IDL and used the ParquetThriftOutputFormat.
The library would not write any of the optional primitive even if set, it would write only if they are specified as required.
parquet-mr: 1.11.1
thrift 0.13.0
**Reporter**: [Daniel Morales](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=tenentedan9)
**Note**: *This issue was originally created as [PARQUET-1955](https://issues.apache.org/jira/browse/PARQUET-1955). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne damit, das Problem mit ParquetThriftOutputFormat zu reproduzieren, indem du einen Thrift-Datensatz mit optionalen primitiven Feldern verwendest und optionale und erforderliche Felder in der resultierenden Parquet-Datei vergleichst. Erledigt ist die Aufgabe, wenn gesetzte Werte primitiver optionaler Felder geschrieben und wieder gelesen werden können, anstatt weggelassen zu werden.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Bug
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100