awslabs / awslabs/aws-lambda-redshift-loader
Aborted query notification in Redshift
- Vorherrschende Sprache
- JavaScript
- Sterne
- 595
- Forks
- 161
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
I faced a weird behavior of the Redshift cluster (the support ticket is still open with service team: Case ID 9386087231) where COPY command query sent by the LambdaRedshiftLoader getting aborted first, and then re-written, and competed successfully by the Redshift engine. The problem is that the only Aborted result reported back to the Lambda function and batch status marked as 'error'. I verified in the Redshift that data was loaded successfully in this scenario.
Also, the complexity of this issue is that there is multi cluster scenario, where data loaded to two Redshift clusters and only one is failing with the above scenario. This leads to a question I can't find an answer to in this repo: If I reprocess the 'error' batch does the data loaded to both clusters, or solution is smart enough to load failed batches only for failed Redshift clusters?
Beitragsleitfaden
Rechercherichtung
Beginne mit den Batch-Verarbeitungs- und Wiederholungspfaden von LambdaRedshiftLoader und konzentriere dich darauf, wie COPY-Ergebnisse gemeldet werden, wenn Redshift eine Abfrage abbricht und neu schreibt. Reproduziere nach Möglichkeit den Fall mit mehreren Clustern und ermittle, ob die erneute Verarbeitung eines Fehler-Batches beide Cluster erneut versucht oder nur den fehlgeschlagenen; das Issue ist abgeschlossen, wenn dieses Verhalten und der korrekte Batch-Status festgestellt sind.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- aws, javascript
- Bereich
- backend, cloud, database
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100