4paradigm / 4paradigm/OpenMLDB

kafka-connector:If wrong data is sent to Kafka, the connector process will crash

Đang mở
#2,295 2 bình luận 0 reaction 1 người được giao Được @dl239 nhận Xem trên GitHub
bug extensions high-priority
Ngôn ngữ chính
C++
Star
1.7k
Fork
331
Merge trung bình
12 ngày 12 giờ
Pull request đã merge (30 ngày)
1

Mô tả

**Bug Description**
+ version:v0.6.0
If the wrong data is sent to Kafka, the data cannot be synchronized later. You need to delete topic and restart Kafka connect.

**Expected Behavior**
The error data will prompt the error information in the log, and the subsequent data can be synchronized normally

**Steps to Reproduce**

1.
2.
3.
4.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Look at the Kafka connector code in the OpenMLDB repository, likely under connectors or streaming modules. Examine error handling around data ingestion and deserialization. The fix involves making the connector resilient to malformed data, logging errors, and continuing to process subsequent messages. Testing requires setting up a Kafka instance and sending both correct and incorrect data to verify the connector does not crash.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
kafka
Lĩnh vực
data-engineering, databases, stream-processing
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
30/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.