apache / apache/iceberg-python

Add `VariantType`

未关闭
#1,819 8 条评论 4 个 reaction 已指派 0 人 在 GitHub 查看
V3
主要语言
Python
星标
1.1k
派生
581
平均合并
1 天 17 小时
30 天内合并 PR
78

描述

### Feature Request / Improvement

The VariantType is a semi-structured type that's part of V3.

- Hopefully, the Parquet format will be released soon: https://lists.apache.org/thread/mr8krzdy8qslhhy5zbll53fd2hy6cpwg
- Once that's in, I'll be added to Arrow: https://github.com/apache/arrow/pull/45375
- I think for PyIceberg, we need to wait for PyArrow support.

There is a Python implementation in Spark that we could vendor into the project, but that will be pretty slow: https://github.com/apache/spark/blob/master/python/pyspark/sql/variant_utils.py

Thoughts?

Original proposal: https://github.com/apache/iceberg/issues/10392

贡献指南

这个仓库没有索引到贡献指南

调研方向

首先检查链接的 Parquet 和 Arrow 工作,以确定所需的 VariantType 支持是否可用,然后阅读 Spark's python/pyspark/sql/variant_utils.py,将其作为参考实现。完成的标准是:一旦 PyArrow dependency 支持 VariantType,PyIceberg 就有一条已达成共识的 VariantType 实现路径。

由索引模型根据 Issue 内容生成。

评估

技术栈
python, spark
领域
data
Issue 类型
功能
难度
5/5
预计耗时
一周以上
活跃度
冷清
描述清晰度
需要澄清
新手友好度
25/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。