apache / apache/parquet-java

Not able to store int or boolean from Pig to Parquet

Offen
#1,965 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Parquet Component: Pig Priority: Trivial Type: bug
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

I have a simple Pig schema that contains long and boolean properties. When trying to store the records using `parquet.pig.ParquetStorer();` I get the following error:
```
java.io.IOException: parquet.io.ParquetEncodingException: can not write value at 9 in tuple (...) from type 'likeCount: long' to type 'optional int64 likeCount'
```

**Reporter**: [Jonathan Morales](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=jonathanmv@outlook.com)

**Note**: *This issue was originally created as [PARQUET-586](https://issues.apache.org/jira/browse/PARQUET-586). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne damit, den Fehler mit dem gemeldeten Pig-Schema zu reproduzieren, das long- und boolean-Eigenschaften sowie ParquetStorer enthält. Verfolge die Konvertierung von Pig-Tupelwerten in das gemeldete optionale int64-Parquet-Feld und berücksichtige auch den boolean-Pfad. Als abgeschlossen gilt die Aufgabe, wenn die Datensätze ohne die gemeldete ParquetEncodingException erfolgreich gespeichert werden.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.