apache / apache/iceberg-python
Support data files compaction
- Ngôn ngữ chính
- Python
- Star
- 1.1k
- Fork
- 581
- Merge trung bình
- 1 ngày 17 giờ
- Pull request đã merge (30 ngày)
- 78
Mô tả
Introduce an API to compact data files. The first version of the API will do the following:
- take a predicate expression as input parameter to find data files matching the filter that will be re-written
- group data files by partitions and rewrite them using the same bin-packing constraints of the writer
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng cách đọc các API data-file và writer hiện có của PyIceberg để hiểu cách biểu diễn việc lọc theo predicate, nhóm theo partition và các ràng buộc bin-packing. Theo dõi luồng của writer và các test liên quan trước khi quyết định compaction API nên nằm ở đâu. Hoàn tất có nghĩa là bên gọi có thể cung cấp một predicate, các file phù hợp được nhóm theo partition và các file được ghi lại sử dụng các ràng buộc bin-packing hiện có của writer.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- data-engineering, databases
- Loại issue
- Tính năng
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Ít trao đổi
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 48/100