ISISComputingGroup / ISISComputingGroup/DataStreaming

`kafka_event_aggregator`: backpressure

Aberta
#111 0 comentários 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
Sem dados de linguagem
Estrelas
0
Forks
0
Métricas de merge de PRs
Nenhum PR com merge em 30d

Descrição

If producer queue fills beyond N bytes, pause consumer until it recovers to less than M bytes (and provide warnings + metrics about consumer pause).

(need to consider behaviour on pausing consumer mid-frame - we are likely to get partial frames in that case)

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Direção de pesquisa

Start at the kafka_event_aggregator entry point and trace how producer queue size, consumer reads, and frame boundaries are handled. Define the N/M thresholds and confirm how pausing mid-frame should work; done means consumer pause and recovery, warnings, and pause metrics are implemented without losing or mishandling partial frames.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
kafka
Domínio
stream-processing
Tipo de issue
Funcionalidade
Dificuldade
5/5
Tempo estimado
Mais de uma semana
Status de atividade
Ativa
Clareza
Razoavelmente clara
Facilidade para iniciantes
45/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.