apache / apache/iceberg-python
Add `VariantType`
- Ngôn ngữ chính
- Python
- Star
- 1.1k
- Fork
- 581
- Merge trung bình
- 1 ngày 17 giờ
- Pull request đã merge (30 ngày)
- 78
Mô tả
### Feature Request / Improvement
The VariantType is a semi-structured type that's part of V3.
- Hopefully, the Parquet format will be released soon: https://lists.apache.org/thread/mr8krzdy8qslhhy5zbll53fd2hy6cpwg
- Once that's in, I'll be added to Arrow: https://github.com/apache/arrow/pull/45375
- I think for PyIceberg, we need to wait for PyArrow support.
There is a Python implementation in Spark that we could vendor into the project, but that will be pretty slow: https://github.com/apache/spark/blob/master/python/pyspark/sql/variant_utils.py
Thoughts?
Original proposal: https://github.com/apache/iceberg/issues/10392
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng cách kiểm tra công việc Parquet và Arrow được liên kết để xác định liệu đã có hỗ trợ VariantType cần thiết hay chưa, sau đó đọc Spark's python/pyspark/sql/variant_utils.py như phần triển khai tham chiếu. Công việc được xem là hoàn tất khi PyIceberg có một hướng triển khai VariantType đã được thống nhất, sau khi dependency PyArrow hỗ trợ nó.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python, spark
- Lĩnh vực
- data
- Loại issue
- Tính năng
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Ít trao đổi
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100