aws-samples / aws-samples/amazon-elasticsearch-lambda-samples
CloudTrial to ElasticSearch
- Lingua principale
- JavaScript
- Stelle
- 386
- Fork
- 170
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
Hi Team,
We having nearly 20 AWS accounts and we centralised CloudTrail logs to a single management account. We have a custom build ElasticSearch (5.6) in the EC2 in the same account.
Now we are trying to push all CloudTrail data from S3 bucket to ES (with put object as event trigger for lambda) using a lambda function. When using this we are facing some challenges while pushing the data to ES.
While going through lambda logs it is identified that some event response data (in json) is not maintaining proper structures. We are using python codes in lambda functions
Could you please help us to find a way to put all the CloudTrail events to ElasticSearch with out any failure.
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Il payload non indica alcun file sorgente né alcun test. Inizia riproducendo il percorso Lambda attivato da S3 put-object e ispezionando i log Lambda alla ricerca di risposte JSON non valide; confronta la struttura dell'evento CloudTrail che fallisce con ciò che la funzione Python invia a Elasticsearch. Il lavoro è completato quando tutti gli eventi CloudTrail vengono indicizzati senza errori.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- aws, elasticsearch, python
- Ambito
- cloud, data-engineering
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 20/100