51zero / 51zero/eel-sdk

Enhanced error handling for HiveWriter

Ouverte
#358 3 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
enhancement help wanted
Langage dominant
Scala
Étoiles
147
Forks
32
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

An enhancement request if possible...

When an exception is thrown from the underlying format writer (Parquet, Orc) ... it would be nice if we could trap the exception higher up the stack in the HiveSink and report the offending column and rethrow with the column in the message.

This would greatly help when trying to find data issues coming from the source (JdbcSource).

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Look at the HiveSink and HiveWriter classes to understand the exception flow from the Parquet/Orc format writers. Identify where exceptions are caught and how column information can be propagated. The goal is to wrap the exception with the offending column name in the error message before rethrowing.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
hadoop, scala
Domaine
backend, data-engineering
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.