apache / apache/iceberg-python

Add `VariantType`

Abierto
#1,819 8 comentarios 4 reacciones 0 asignados Ver en GitHub
V3
Lenguaje dominante
Python
Estrellas
1.1k
Forks
581
Merge medio
1 d 17 h
PR fusionados (30 d)
77

Descripción

### Feature Request / Improvement

The VariantType is a semi-structured type that's part of V3.

- Hopefully, the Parquet format will be released soon: https://lists.apache.org/thread/mr8krzdy8qslhhy5zbll53fd2hy6cpwg
- Once that's in, I'll be added to Arrow: https://github.com/apache/arrow/pull/45375
- I think for PyIceberg, we need to wait for PyArrow support.

There is a Python implementation in Spark that we could vendor into the project, but that will be pretty slow: https://github.com/apache/spark/blob/master/python/pyspark/sql/variant_utils.py

Thoughts?

Original proposal: https://github.com/apache/iceberg/issues/10392

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Comienza revisando el trabajo enlazado de Parquet y Arrow para determinar si está disponible la compatibilidad necesaria con VariantType; después, lee Spark's python/pyspark/sql/variant_utils.py como la implementación de referencia. El trabajo estará terminado cuando PyIceberg tenga una ruta de implementación acordada para VariantType una vez que la dependencia PyArrow lo admita.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python, spark
Área
data
Tipo de issue
Nueva funcionalidad
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Tranquilo
Claridad
Necesita aclaración
Aptitud para principiantes
25/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.