apache / apache/iceberg-python

Add `VariantType`

Ouverte
#1,819 8 commentaires 4 réactions 0 personnes assignées Voir sur GitHub
V3
Langage dominant
Python
Étoiles
1.1k
Forks
581
Merge moyen
1 j 17 h
PR mergées (30 j)
78

Description

### Feature Request / Improvement

The VariantType is a semi-structured type that's part of V3.

- Hopefully, the Parquet format will be released soon: https://lists.apache.org/thread/mr8krzdy8qslhhy5zbll53fd2hy6cpwg
- Once that's in, I'll be added to Arrow: https://github.com/apache/arrow/pull/45375
- I think for PyIceberg, we need to wait for PyArrow support.

There is a Python implementation in Spark that we could vendor into the project, but that will be pretty slow: https://github.com/apache/spark/blob/master/python/pyspark/sql/variant_utils.py

Thoughts?

Original proposal: https://github.com/apache/iceberg/issues/10392

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par examiner le travail lié sur Parquet et Arrow afin de déterminer si la prise en charge requise de VariantType est disponible, puis lisez Spark's python/pyspark/sql/variant_utils.py comme implémentation de référence. Le travail est terminé lorsque PyIceberg dispose d’une voie d’implémentation convenue pour VariantType une fois que la dépendance PyArrow le prend en charge.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python, spark
Domaine
data
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
Calme
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.