apache / apache/arrow-java

[Java] nullable arrow schema write to parquet error

Ouverte
#89 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Java
Étoiles
94
Forks
152
Merge moyen
3 j 16 h
PR mergées (30 j)
11

Description

### Describe the usage question you have. Please include as many useful details as possible.

When I convert nullable avro schema to nullable arrow schema and write as parquet file, meet a exception

"Unhandled type for Arrow to Parquet schema conversion: sparse_union"

It seems arrow-avro not support SPARE_UNION

how can I use nullable schema in arrow, please help me.

### Component(s)

Java

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par reproduire la conversion signalée d’un schéma Avro nullable vers un schéma Arrow nullable, puis écrivez-le dans un fichier Parquet et capturez l’échec de sparse_union. Confirmez si le chemin de conversion prend en charge ce schéma et documentez le comportement attendu ou la limitation ; aucun fichier source ni test n’est identifié dans l’issue.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data-engineering
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
30/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.