51zero / 51zero/eel-sdk

Enhanced error handling for HiveWriter

Abierto
#358 3 comentarios 0 reacciones 0 asignados Ver en GitHub
enhancement help wanted
Lenguaje dominante
Scala
Estrellas
147
Forks
32
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

An enhancement request if possible...

When an exception is thrown from the underlying format writer (Parquet, Orc) ... it would be nice if we could trap the exception higher up the stack in the HiveSink and report the offending column and rethrow with the column in the message.

This would greatly help when trying to find data issues coming from the source (JdbcSource).

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Look at the HiveSink and HiveWriter classes to understand the exception flow from the Parquet/Orc format writers. Identify where exceptions are caught and how column information can be propagated. The goal is to wrap the exception with the offending column name in the error message before rethrowing.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
hadoop, scala
Área
backend, data-engineering
Tipo de issue
Nueva funcionalidad
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.