apache / apache/iceberg-python
Add `VariantType`
- Lingua principale
- Python
- Stelle
- 1.1k
- Fork
- 581
- Merge medio
- 1g 17h
- PR unite (30g)
- 78
Descrizione
### Feature Request / Improvement
The VariantType is a semi-structured type that's part of V3.
- Hopefully, the Parquet format will be released soon: https://lists.apache.org/thread/mr8krzdy8qslhhy5zbll53fd2hy6cpwg
- Once that's in, I'll be added to Arrow: https://github.com/apache/arrow/pull/45375
- I think for PyIceberg, we need to wait for PyArrow support.
There is a Python implementation in Spark that we could vendor into the project, but that will be pretty slow: https://github.com/apache/spark/blob/master/python/pyspark/sql/variant_utils.py
Thoughts?
Original proposal: https://github.com/apache/iceberg/issues/10392
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia controllando il lavoro collegato su Parquet e Arrow per determinare se è disponibile il supporto richiesto per VariantType, quindi leggi Spark's python/pyspark/sql/variant_utils.py come implementazione di riferimento. Il lavoro è completato quando PyIceberg dispone di un percorso di implementazione concordato per VariantType, una volta che la dipendenza PyArrow lo supporta.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python, spark
- Ambito
- data
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Tranquilla
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100