ISISComputingGroup / ISISComputingGroup/DataStreaming

`kafka_event_aggregator`: backpressure

Đang mở
#111 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Không có dữ liệu ngôn ngữ
Star
0
Fork
0
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

If producer queue fills beyond N bytes, pause consumer until it recovers to less than M bytes (and provide warnings + metrics about consumer pause).

(need to consider behaviour on pausing consumer mid-frame - we are likely to get partial frames in that case)

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Start at the kafka_event_aggregator entry point and trace how producer queue size, consumer reads, and frame boundaries are handled. Define the N/M thresholds and confirm how pausing mid-frame should work; done means consumer pause and recovery, warnings, and pause metrics are implemented without losing or mishandling partial frames.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
kafka
Lĩnh vực
stream-processing
Loại issue
Tính năng
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Sôi nổi
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
45/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.