apache / apache/iceberg-python
[Feat] Support Merge-on-Read mode for Deletes
- Ngôn ngữ chính
- Python
- Star
- 1.1k
- Fork
- 581
- Merge trung bình
- 1 ngày 17 giờ
- Pull request đã merge (30 ngày)
- 78
Mô tả
### Feature Request / Improvement
Similar to Spark, we would like to implement Merge-on-Read mode of deleting, by creating delete files that encode position and equality delete markers that can be applied within a given partition.
https://iceberg.apache.org/spec/?h=delete+files#row-level-deletes
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng cách đọc đặc tả về việc xóa ở cấp hàng của Apache Iceberg được liên kết trong issue, sau đó so sánh các yêu cầu về xóa theo vị trí và xóa theo giá trị bằng với hành vi xóa hiện có của PyIceberg. Xác định phạm vi Merge-on-Read được hỗ trợ và xác minh rằng các dấu đánh dấu xóa có thể được áp dụng trong một partition, bao gồm các bài kiểm thử cho cả hai loại xóa.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python, spark
- Lĩnh vực
- data-engineering, databases
- Loại issue
- Tính năng
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Ít trao đổi
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 35/100