awslabs / awslabs/aws-lambda-redshift-loader

Aborted query notification in Redshift

Offen
#239 4 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
JavaScript
Sterne
595
Forks
161
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

I faced a weird behavior of the Redshift cluster (the support ticket is still open with service team: Case ID 9386087231) where COPY command query sent by the LambdaRedshiftLoader getting aborted first, and then re-written, and competed successfully by the Redshift engine. The problem is that the only Aborted result reported back to the Lambda function and batch status marked as 'error'. I verified in the Redshift that data was loaded successfully in this scenario.
Also, the complexity of this issue is that there is multi cluster scenario, where data loaded to two Redshift clusters and only one is failing with the above scenario. This leads to a question I can't find an answer to in this repo: If I reprocess the 'error' batch does the data loaded to both clusters, or solution is smart enough to load failed batches only for failed Redshift clusters?

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit den Batch-Verarbeitungs- und Wiederholungspfaden von LambdaRedshiftLoader und konzentriere dich darauf, wie COPY-Ergebnisse gemeldet werden, wenn Redshift eine Abfrage abbricht und neu schreibt. Reproduziere nach Möglichkeit den Fall mit mehreren Clustern und ermittle, ob die erneute Verarbeitung eines Fehler-Batches beide Cluster erneut versucht oder nur den fehlgeschlagenen; das Issue ist abgeschlossen, wenn dieses Verhalten und der korrekte Batch-Status festgestellt sind.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
aws, javascript
Bereich
backend, cloud, database
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.