[Java] nullable arrow schema write to parquet error
- Langage dominant
- Java
- Étoiles
- 94
- Forks
- 152
- Merge moyen
- 3 j 16 h
- PR mergées (30 j)
- 11
Description
### Describe the usage question you have. Please include as many useful details as possible.
When I convert nullable avro schema to nullable arrow schema and write as parquet file, meet a exception
"Unhandled type for Arrow to Parquet schema conversion: sparse_union"
It seems arrow-avro not support SPARE_UNION
how can I use nullable schema in arrow, please help me.
### Component(s)
Java
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Commencez par reproduire la conversion signalée d’un schéma Avro nullable vers un schéma Arrow nullable, puis écrivez-le dans un fichier Parquet et capturez l’échec de sparse_union. Confirmez si le chemin de conversion prend en charge ce schéma et documentez le comportement attendu ou la limitation ; aucun fichier source ni test n’est identifié dans l’issue.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering
- Type d'issue
- Bug
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 30/100