apache / apache/iceberg-python

Add `VariantType`

Đang mở
#1,819 8 bình luận 4 reaction 0 người được giao Xem trên GitHub
V3
Ngôn ngữ chính
Python
Star
1.1k
Fork
581
Merge trung bình
1 ngày 17 giờ
Pull request đã merge (30 ngày)
78

Mô tả

### Feature Request / Improvement

The VariantType is a semi-structured type that's part of V3.

- Hopefully, the Parquet format will be released soon: https://lists.apache.org/thread/mr8krzdy8qslhhy5zbll53fd2hy6cpwg
- Once that's in, I'll be added to Arrow: https://github.com/apache/arrow/pull/45375
- I think for PyIceberg, we need to wait for PyArrow support.

There is a Python implementation in Spark that we could vendor into the project, but that will be pretty slow: https://github.com/apache/spark/blob/master/python/pyspark/sql/variant_utils.py

Thoughts?

Original proposal: https://github.com/apache/iceberg/issues/10392

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Bắt đầu bằng cách kiểm tra công việc Parquet và Arrow được liên kết để xác định liệu đã có hỗ trợ VariantType cần thiết hay chưa, sau đó đọc Spark's python/pyspark/sql/variant_utils.py như phần triển khai tham chiếu. Công việc được xem là hoàn tất khi PyIceberg có một hướng triển khai VariantType đã được thống nhất, sau khi dependency PyArrow hỗ trợ nó.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
python, spark
Lĩnh vực
data
Loại issue
Tính năng
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Ít trao đổi
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.