awslabs / awslabs/aws-lambda-redshift-loader
Option to disable hive partitioning wild cards
- Lingua principale
- JavaScript
- Stelle
- 595
- Fork
- 161
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
The avro files we are trying to load into RedShift are stored in folders with "=" in their names, i.e.
event_type=users.behaviors.app.FirstSession/.
When loading data from the following S3 prefix,
com.hoopladigital.brazecurrentsstaging/StagingCurrentFull/dataexport.prod-03.S3.integration.60d3692fcab9ca5f83919aab/event_type%3Dusers.behaviors.app.FirstSession
The lambda failed with this error:
error: No Configuration Found for com.hoopladigital.brazecurrentsstaging/StagingCurrentFull/dataexport.prod-03.S3.integration.60d3692fcab9ca5f83919aab/event_type=*/date=*/399/prod-03
As shown in the error message above, the"event_type=*/date=*" portion of the error message was transformed assuming that we are taking advantage of the hive partitioning wildcards (https://github.com/awslabs/aws-lambda-redshift-loader#hive-partitioning-style-wildcards) and replaces the event_type value with *.
We don't want to use this feature- I need the lambda to use the exact folder name that I provided in the prefix. Is there a way for me to configure the lambda to not use hive partitioning wild cards?
line 1584 of index.js:
inputInfo.prefix = inputInfo.bucket + '/' + searchKey.transformHiveStylePrefix();
line 78 of index.js
transformHiveStylePrefix()
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia in index.js alla riga 78, dove è definita transformHiveStylePrefix(), e alla riga 1584, dove trasforma inputInfo.prefix. Traccia come viene configurato il prefisso e determina come un'opzione potrebbe preservare i nomi delle cartelle contenenti '='; il lavoro è completato quando il prefisso fornito viene usato esattamente così com'è se l'opzione disabilita la trasformazione dei caratteri jolly in stile Hive.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- javascript
- Ambito
- cloud
- Tipo di issue
- Funzionalità
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100