ISISComputingGroup / ISISComputingGroup/DataStreaming

`kafka_event_aggregator`: backpressure

Aperta
#111 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Nessun dato sulla lingua
Stelle
0
Fork
0
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

If producer queue fills beyond N bytes, pause consumer until it recovers to less than M bytes (and provide warnings + metrics about consumer pause).

(need to consider behaviour on pausing consumer mid-frame - we are likely to get partial frames in that case)

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Start at the kafka_event_aggregator entry point and trace how producer queue size, consumer reads, and frame boundaries are handled. Define the N/M thresholds and confirm how pausing mid-frame should work; done means consumer pause and recovery, warnings, and pause metrics are implemented without losing or mishandling partial frames.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
kafka
Ambito
stream-processing
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Attiva
Chiarezza
Abbastanza chiara
Idoneità per principianti
45/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.