awslabs / awslabs/aws-lambda-redshift-loader

Option to disable hive partitioning wild cards

Offen
#232 8 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
JavaScript
Sterne
595
Forks
161
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

The avro files we are trying to load into RedShift are stored in folders with "=" in their names, i.e.

event_type=users.behaviors.app.FirstSession/.

When loading data from the following S3 prefix,

com.hoopladigital.brazecurrentsstaging/StagingCurrentFull/dataexport.prod-03.S3.integration.60d3692fcab9ca5f83919aab/event_type%3Dusers.behaviors.app.FirstSession

The lambda failed with this error:

error: No Configuration Found for com.hoopladigital.brazecurrentsstaging/StagingCurrentFull/dataexport.prod-03.S3.integration.60d3692fcab9ca5f83919aab/event_type=*/date=*/399/prod-03

As shown in the error message above, the"event_type=*/date=*" portion of the error message was transformed assuming that we are taking advantage of the hive partitioning wildcards (https://github.com/awslabs/aws-lambda-redshift-loader#hive-partitioning-style-wildcards) and replaces the event_type value with *.

We don't want to use this feature- I need the lambda to use the exact folder name that I provided in the prefix. Is there a way for me to configure the lambda to not use hive partitioning wild cards?

line 1584 of index.js:
inputInfo.prefix = inputInfo.bucket + '/' + searchKey.transformHiveStylePrefix();

line 78 of index.js
transformHiveStylePrefix()

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne in index.js bei Zeile 78, wo transformHiveStylePrefix() definiert ist, und bei Zeile 1584, wo es inputInfo.prefix transformiert. Verfolge, wie das Präfix konfiguriert wird, und ermittle, wie eine Option Ordnernamen mit '=' erhalten könnte; abgeschlossen ist die Aufgabe, wenn das bereitgestellte Präfix genau so verwendet wird, wenn die Option die Hive-Style-Wildcard-Transformation deaktiviert.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
javascript
Bereich
cloud
Issue-Typ
Feature
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.