4paradigm / 4paradigm/OpenMLDB

base and pre-aggr table may not be consistent if the leader changes

Đang mở
#3,044 0 bình luận 0 reaction 1 người được giao Được @zhanghaohit nhận Xem trên GitHub
bug high-priority
Ngôn ngữ chính
C++
Star
1.7k
Fork
331
Merge trung bình
12 ngày 12 giờ
Pull request đã merge (30 ngày)
1

Mô tả

**Bug Description**
- leaders of base and pre-aggr tables: is always consistent
- followers of base and pre-aggr tables: not consistent. they are synced from leaders separately.

If there is a change in the leadership, it may cause in-consistency:
- the offset of base is not consistent with the offset of pre-aggr
- the leaders of base and pre-aggr will not be in the same tablet. The leader of pre-aggr table will never be updated.

**Expected Behavior**

Potential solutions:
- leaders of base and pre-aggr tables are not necessary to be in the same tablet
- offset checking before updating the pre-aggr table:
- if base > pre-aggr + 1, there may be some data lost in pre-aggr. have to manually update the pre-aggr until the base latest
- if base <= pre-aggr + 1, there may be some data lost in base. have to remove the new data from pre-aggr

In order not to affect the online service, the pre-aggr update should be done asynchronously in the background.

**Relation Case**

**Steps to Reproduce**

1.
2.
3.
4.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Issue mô tả vấn đề nhất quán giữa các bảng cơ sở và bảng tiền tổng hợp trong quá trình thay đổi leader ở một cơ sở dữ liệu phân tán. Nghiên cứu các cơ chế bầu leader và đồng bộ hóa dữ liệu trong mã nguồn của OpenMLDB, tập trung vào cách các offset được theo dõi và cập nhật. Tìm các module xử lý việc sao chép bảng, các quá trình chuyển đổi leadership và các tác vụ tổng hợp chạy nền để hiểu luồng hiện tại và nơi phát sinh sự không nhất quán.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
databases, machine-learning
Lĩnh vực
databases, distributed-systems
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.