[Java] nullable arrow schema write to parquet error
- Vorherrschende Sprache
- Java
- Sterne
- 94
- Forks
- 152
- Ø Merge
- 3 T. 16 Std.
- Gemergte PRs (30 T.)
- 11
Beschreibung
### Describe the usage question you have. Please include as many useful details as possible.
When I convert nullable avro schema to nullable arrow schema and write as parquet file, meet a exception
"Unhandled type for Arrow to Parquet schema conversion: sparse_union"
It seems arrow-avro not support SPARE_UNION
how can I use nullable schema in arrow, please help me.
### Component(s)
Java
Beitragsleitfaden
Rechercherichtung
Beginne damit, die gemeldete Konvertierung von einem nullable Avro-Schema in ein nullable Arrow-Schema zu reproduzieren, schreibe es anschließend als Parquet-Datei und erfasse den sparse_union-Fehler. Bestätige, ob der Konvertierungspfad dieses Schema unterstützt, und dokumentiere das erwartete Verhalten oder die Einschränkung; im Issue sind keine Quelldateien oder Tests angegeben.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 30/100