ISISComputingGroup / ISISComputingGroup/DataStreaming

`kafka_event_aggregator`: backpressure

Ouverte
#111 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Aucune donnée de langage
Étoiles
0
Forks
0
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

If producer queue fills beyond N bytes, pause consumer until it recovers to less than M bytes (and provide warnings + metrics about consumer pause).

(need to consider behaviour on pausing consumer mid-frame - we are likely to get partial frames in that case)

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Start at the kafka_event_aggregator entry point and trace how producer queue size, consumer reads, and frame boundaries are handled. Define the N/M thresholds and confirm how pausing mid-frame should work; done means consumer pause and recovery, warnings, and pause metrics are implemented without losing or mishandling partial frames.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
kafka
Domaine
stream-processing
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
Active
Clarté
Plutôt claire
Accessibilité débutants
45/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.