aws-samples / aws-samples/integration-sample-lambda-msk

Parallelization Factor for MSK Event Source Mapping

Aberta
#2 2 comentários 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
Java
Estrelas
11
Forks
10
Merge médio
1d 1h
PRs com merge (30d)
1

Descrição

Hi,

Is there a way to set concurrency of the lambda function so that multiple batches can be processed simultaneouly?

From the [aws lambda cli docs](https://docs.aws.amazon.com/cli/latest/reference/lambda/create-event-source-mapping.html) I see there is a `--parallelization-factor` which I think is supported for Kinesis streams, but not MSK?

**Are there any plans to support this for MSK?**

If I understood the MSK event source correctly, it polls a target MSK topic across partitions and invokes a lambda function with the obtained batch synchronously? So in order to poll for another batch, the invoked lambda function must complete execution before a subsequent poll can begin?

Therefore, the throughput that can be handled is a function of:
- The number of topic partitions (more partitions allows for higher throughput)
- The batch size of the MSK event source (10,000 is currently the max)
- The execution time of the lambda function.

> For example, if the execution takes 100ms vs. 10secs this makes a difference to the consumer lag in high-throughput topics?

Many thanks,

David

Guia de contribuição

Abrir o guia de contribuição

Direção de pesquisa

Nenhum arquivo do repositório, teste ou ponto de entrada de implementação é mencionado. Comece revisando a documentação do AWS Lambda MSK event-source e a estrutura do repositório para determinar se isso pode ser implementado aqui; o trabalho só estaria concluído com um escopo confirmado e uma forma acordada de oferecer suporte ou documentar o processamento paralelo.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
aws
Domínio
cloud
Tipo de issue
Funcionalidade
Dificuldade
5/5
Tempo estimado
Mais de uma semana
Status de atividade
Estagnada
Clareza
Precisa de esclarecimento
Facilidade para iniciantes
20/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.