aws-samples / aws-samples/amazon-elasticsearch-lambda-samples

kinesis -> lambda -> ES only posting some records

Aperta
#1 5 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
JavaScript
Stelle
386
Fork
170
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

I setup a simple config to test this out:

logstash-forwarder -> logstash -> kinesis -> lambda -> ES

For batches of size 1, this works fine, log lines are pushed to ES in a few seconds.

For batch size > 1, I am seeing inconsistent behavior, with one of some of my records being pushed. It's often about 5 records that make it through but it's not consistent.

In my lambda logs I sometimes see `Error: Error: socket hang up` a number of times, corresponding to the number of missing records, but this too is inconsistent.

I've confirmed that the expected # of the records appear in the kinesis stream and are transmitted to the lambda job.

What am I doing wrong? Is my kinesis stream too small? My lambda timeout too short?

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia riproducendo la pipeline segnalata con batch Kinesis più grandi di uno e controlla i log di Lambda per individuare errori socket hang up. Confronta i record ricevuti da Lambda con quelli inviati a Elasticsearch; il lavoro è completato quando ogni record di input raggiunge Elasticsearch in modo affidabile senza gli errori segnalati.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
aws, elasticsearch, javascript
Ambito
backend, cloud
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
20/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.