aws-samples / aws-samples/amazon-elasticsearch-lambda-samples

CloudTrial to ElasticSearch

Offen
#16 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
JavaScript
Sterne
386
Forks
170
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Hi Team,

We having nearly 20 AWS accounts and we centralised CloudTrail logs to a single management account. We have a custom build ElasticSearch (5.6) in the EC2 in the same account.

Now we are trying to push all CloudTrail data from S3 bucket to ES (with put object as event trigger for lambda) using a lambda function. When using this we are facing some challenges while pushing the data to ES.

While going through lambda logs it is identified that some event response data (in json) is not maintaining proper structures. We are using python codes in lambda functions

Could you please help us to find a way to put all the CloudTrail events to ElasticSearch with out any failure.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Der Payload nennt keine Quelldatei und keinen Test. Beginne damit, den durch S3 put-object ausgelösten Lambda-Pfad zu reproduzieren und die Lambda-Logs auf fehlerhafte JSON-Antworten zu untersuchen; vergleiche die Struktur des fehlschlagenden CloudTrail-Ereignisses mit dem, was die Python-Funktion an Elasticsearch sendet. Erledigt ist es, wenn alle CloudTrail-Ereignisse ohne Fehler indiziert werden.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
aws, elasticsearch, python
Bereich
cloud, data-engineering
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
20/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.