aws-samples / aws-samples/amazon-elasticsearch-lambda-samples

CloudTrial to ElasticSearch

Aperta
#16 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
JavaScript
Stelle
386
Fork
170
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Hi Team,

We having nearly 20 AWS accounts and we centralised CloudTrail logs to a single management account. We have a custom build ElasticSearch (5.6) in the EC2 in the same account.

Now we are trying to push all CloudTrail data from S3 bucket to ES (with put object as event trigger for lambda) using a lambda function. When using this we are facing some challenges while pushing the data to ES.

While going through lambda logs it is identified that some event response data (in json) is not maintaining proper structures. We are using python codes in lambda functions

Could you please help us to find a way to put all the CloudTrail events to ElasticSearch with out any failure.

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Il payload non indica alcun file sorgente né alcun test. Inizia riproducendo il percorso Lambda attivato da S3 put-object e ispezionando i log Lambda alla ricerca di risposte JSON non valide; confronta la struttura dell'evento CloudTrail che fallisce con ciò che la funzione Python invia a Elasticsearch. Il lavoro è completato quando tutti gli eventi CloudTrail vengono indicizzati senza errori.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
aws, elasticsearch, python
Ambito
cloud, data-engineering
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
20/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.