awslabs / awslabs/aws-lambda-redshift-loader

Option to disable hive partitioning wild cards

Abierto
#232 8 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
JavaScript
Estrellas
595
Forks
161
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

The avro files we are trying to load into RedShift are stored in folders with "=" in their names, i.e.

event_type=users.behaviors.app.FirstSession/.

When loading data from the following S3 prefix,

com.hoopladigital.brazecurrentsstaging/StagingCurrentFull/dataexport.prod-03.S3.integration.60d3692fcab9ca5f83919aab/event_type%3Dusers.behaviors.app.FirstSession

The lambda failed with this error:

error: No Configuration Found for com.hoopladigital.brazecurrentsstaging/StagingCurrentFull/dataexport.prod-03.S3.integration.60d3692fcab9ca5f83919aab/event_type=*/date=*/399/prod-03

As shown in the error message above, the"event_type=*/date=*" portion of the error message was transformed assuming that we are taking advantage of the hive partitioning wildcards (https://github.com/awslabs/aws-lambda-redshift-loader#hive-partitioning-style-wildcards) and replaces the event_type value with *.

We don't want to use this feature- I need the lambda to use the exact folder name that I provided in the prefix. Is there a way for me to configure the lambda to not use hive partitioning wild cards?

line 1584 of index.js:
inputInfo.prefix = inputInfo.bucket + '/' + searchKey.transformHiveStylePrefix();

line 78 of index.js
transformHiveStylePrefix()

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza en index.js en la línea 78, donde se define transformHiveStylePrefix(), y en la línea 1584, donde transforma inputInfo.prefix. Traza cómo se configura el prefijo y determina cómo una opción podría conservar los nombres de carpetas que contienen '='; se considera terminado cuando el prefijo proporcionado se usa exactamente tal cual si la opción desactiva la transformación de comodines al estilo Hive.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
javascript
Área
cloud
Tipo de issue
Nueva funcionalidad
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.