awslabs / awslabs/aws-lambda-redshift-loader

Option to disable hive partitioning wild cards

Aperta
#232 8 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
JavaScript
Stelle
595
Fork
161
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

The avro files we are trying to load into RedShift are stored in folders with "=" in their names, i.e.

event_type=users.behaviors.app.FirstSession/.

When loading data from the following S3 prefix,

com.hoopladigital.brazecurrentsstaging/StagingCurrentFull/dataexport.prod-03.S3.integration.60d3692fcab9ca5f83919aab/event_type%3Dusers.behaviors.app.FirstSession

The lambda failed with this error:

error: No Configuration Found for com.hoopladigital.brazecurrentsstaging/StagingCurrentFull/dataexport.prod-03.S3.integration.60d3692fcab9ca5f83919aab/event_type=*/date=*/399/prod-03

As shown in the error message above, the"event_type=*/date=*" portion of the error message was transformed assuming that we are taking advantage of the hive partitioning wildcards (https://github.com/awslabs/aws-lambda-redshift-loader#hive-partitioning-style-wildcards) and replaces the event_type value with *.

We don't want to use this feature- I need the lambda to use the exact folder name that I provided in the prefix. Is there a way for me to configure the lambda to not use hive partitioning wild cards?

line 1584 of index.js:
inputInfo.prefix = inputInfo.bucket + '/' + searchKey.transformHiveStylePrefix();

line 78 of index.js
transformHiveStylePrefix()

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia in index.js alla riga 78, dove è definita transformHiveStylePrefix(), e alla riga 1584, dove trasforma inputInfo.prefix. Traccia come viene configurato il prefisso e determina come un'opzione potrebbe preservare i nomi delle cartelle contenenti '='; il lavoro è completato quando il prefisso fornito viene usato esattamente così com'è se l'opzione disabilita la trasformazione dei caratteri jolly in stile Hive.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
javascript
Ambito
cloud
Tipo di issue
Funzionalità
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.