4paradigm / 4paradigm/OpenMLDB
base and pre-aggr table may not be consistent if the leader changes
- Ngôn ngữ chính
- C++
- Star
- 1.7k
- Fork
- 331
- Merge trung bình
- 12 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 1
Mô tả
**Bug Description**
- leaders of base and pre-aggr tables: is always consistent
- followers of base and pre-aggr tables: not consistent. they are synced from leaders separately.
If there is a change in the leadership, it may cause in-consistency:
- the offset of base is not consistent with the offset of pre-aggr
- the leaders of base and pre-aggr will not be in the same tablet. The leader of pre-aggr table will never be updated.
**Expected Behavior**
Potential solutions:
- leaders of base and pre-aggr tables are not necessary to be in the same tablet
- offset checking before updating the pre-aggr table:
- if base > pre-aggr + 1, there may be some data lost in pre-aggr. have to manually update the pre-aggr until the base latest
- if base <= pre-aggr + 1, there may be some data lost in base. have to remove the new data from pre-aggr
In order not to affect the online service, the pre-aggr update should be done asynchronously in the background.
**Relation Case**
**Steps to Reproduce**
1.
2.
3.
4.
Hướng dẫn đóng góp
Hướng nghiên cứu
Issue mô tả vấn đề nhất quán giữa các bảng cơ sở và bảng tiền tổng hợp trong quá trình thay đổi leader ở một cơ sở dữ liệu phân tán. Nghiên cứu các cơ chế bầu leader và đồng bộ hóa dữ liệu trong mã nguồn của OpenMLDB, tập trung vào cách các offset được theo dõi và cập nhật. Tìm các module xử lý việc sao chép bảng, các quá trình chuyển đổi leadership và các tác vụ tổng hợp chạy nền để hiểu luồng hiện tại và nơi phát sinh sự không nhất quán.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- databases, machine-learning
- Lĩnh vực
- databases, distributed-systems
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 35/100