aws-samples / aws-samples/amazon-elasticsearch-lambda-samples

Getting "Error: write after end" on every other log file that is ingested from s3

Offen
#4 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
JavaScript
Sterne
386
Forks
170
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Thank you for writing this. It's exactly what I needed. However, I'm running into an error with every other log file that is ingested from s3. This is the error as written to the CloudWatch logs:

2015-11-24T19:04:06.486Z fe5810ee-92dd-11e5-8a9f-8909a00ad51d Error: write after end
at writeAfterEnd (_stream_writable.js:133:12)
at LineStream.Writable.write (_stream_writable.js:181:5)
at write (_stream_readable.js:602:24)
at flow (_stream_readable.js:611:7)
at PassThrough.pipeOnReadable (_stream_readable.js:643:5)
at PassThrough.emit (events.js:92:17)
at emitReadable_ (_stream_readable.js:427:10)
at emitReadable (_stream_readable.js:423:5)
at readableAddChunk (_stream_readable.js:166:9)
at PassThrough.Readable.push (_stream_readable.js:128:10)

Does the NodeHttpClient need to close it's session or something?

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne damit, den S3-Ingestion-Pfad und die Interaktion mit NodeHttpClient nachzuverfolgen, wobei du den bereitgestellten Stack Trace und den CloudWatch-Fehler als Reproduktionssignal verwendest. Reproduziere die Ingestion mit abwechselnden Logdateien und ermittle, wohin der Stream geschrieben wird, nachdem er beendet wurde; fertig ist die Aufgabe, wenn die betroffenen Dateien ohne den gemeldeten Fehler eingelesen werden.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
aws, elasticsearch, javascript, node.js
Bereich
backend, cloud, data-engineering
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.