4paradigm / 4paradigm/OpenMLDB

`load data` in cluster mode may cause out-of-order insertion, leading poor performance for long window

Đang mở
#2,544 1 bình luận 0 reaction 1 người được giao Được @zhanghaohit nhận Xem trên GitHub
bug
Ngôn ngữ chính
C++
Star
1.7k
Fork
331
Merge trung bình
12 ngày 12 giờ
Pull request đã merge (30 ngày)
1

Mô tả

**Bug Description**
if `spark` is configured with multiple threads, say `local[*]` or `local[32]`, data loading will run in parallel, causing out-of-order loading.

It is ok for normal data insertion. But `long window optimization` requires that data is loaded mostly in order.

**Potential solution**
- remove the `in order loading` requirement for `long window`, by deleting the old entry and inserting the new one in the pre-aggr table.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

The issue relates to the 'load data' operation in cluster mode and its interaction with long window optimization. Investigate the data loading path in the codebase, particularly looking for parallel execution logic. Examine the long window optimization implementation to understand the in-order requirement. Check if there are existing tests for data loading or window performance to verify changes.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
spark
Lĩnh vực
databases, performance
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
30/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.