aws-samples / aws-samples/amazon-elasticsearch-lambda-samples
kinesis -> lambda -> ES only posting some records
- Lingua principale
- JavaScript
- Stelle
- 386
- Fork
- 170
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
I setup a simple config to test this out:
logstash-forwarder -> logstash -> kinesis -> lambda -> ES
For batches of size 1, this works fine, log lines are pushed to ES in a few seconds.
For batch size > 1, I am seeing inconsistent behavior, with one of some of my records being pushed. It's often about 5 records that make it through but it's not consistent.
In my lambda logs I sometimes see `Error: Error: socket hang up` a number of times, corresponding to the number of missing records, but this too is inconsistent.
I've confirmed that the expected # of the records appear in the kinesis stream and are transmitted to the lambda job.
What am I doing wrong? Is my kinesis stream too small? My lambda timeout too short?
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia riproducendo la pipeline segnalata con batch Kinesis più grandi di uno e controlla i log di Lambda per individuare errori socket hang up. Confronta i record ricevuti da Lambda con quelli inviati a Elasticsearch; il lavoro è completato quando ogni record di input raggiunge Elasticsearch in modo affidabile senza gli errori segnalati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- aws, elasticsearch, javascript
- Ambito
- backend, cloud
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 20/100