awslabs / awslabs/aws-lambda-redshift-loader
Enhancement to Support Running SQL Scripts Pre and Post Load
- Vorherrschende Sprache
- JavaScript
- Sterne
- 595
- Forks
- 161
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Ian
We have a scenario where we like to run a SQL script against Redshift after a load succeeds. Before we implement it, we like to run it by you and get your feedback. Here is the functional overview:
1. During setup, user can specify a URI to a SQL script in S3 to execute before or after the data load. One or both can specified.
2. At runtime, the appropriate SQL scripts are executed against the Redshift DB either before or after the copy command.
Any pitfalls we should watch out for? Any feedback for improvements? Do you know if we can get error codes from the SQL execution back to the Lambda function? Will this feature be useful to other users?
Thanks
Beitragsleitfaden
Rechercherichtung
Das Issue nennt keine Dateien, Tests oder Einstiegspunkte. Beginne damit, das Loader-Setup und den Redshift-Ladeablauf nachzuverfolgen, und definiere den Abschluss so, dass optionale S3-SQL-Skript-URIs akzeptiert, vor oder nach dem Laden ausgeführt und SQL-Fehler an Lambda zurückgemeldet werden.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- aws, javascript, sql
- Bereich
- backend, cloud, databases
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100