awslabs / awslabs/aws-lambda-redshift-loader

Enhancement to Support Running SQL Scripts Pre and Post Load

Offen
#59 5 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
JavaScript
Sterne
595
Forks
161
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Ian

We have a scenario where we like to run a SQL script against Redshift after a load succeeds. Before we implement it, we like to run it by you and get your feedback. Here is the functional overview:
1. During setup, user can specify a URI to a SQL script in S3 to execute before or after the data load. One or both can specified.
2. At runtime, the appropriate SQL scripts are executed against the Redshift DB either before or after the copy command.

Any pitfalls we should watch out for? Any feedback for improvements? Do you know if we can get error codes from the SQL execution back to the Lambda function? Will this feature be useful to other users?

Thanks

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Das Issue nennt keine Dateien, Tests oder Einstiegspunkte. Beginne damit, das Loader-Setup und den Redshift-Ladeablauf nachzuverfolgen, und definiere den Abschluss so, dass optionale S3-SQL-Skript-URIs akzeptiert, vor oder nach dem Laden ausgeführt und SQL-Fehler an Lambda zurückgemeldet werden.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
aws, javascript, sql
Bereich
backend, cloud, databases
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.