51zero / 51zero/eel-sdk

Enhanced error handling for HiveWriter

Aperta
#358 3 commenti 0 reazioni 0 assegnatari Vedi su GitHub
enhancement help wanted
Lingua principale
Scala
Stelle
147
Fork
32
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

An enhancement request if possible...

When an exception is thrown from the underlying format writer (Parquet, Orc) ... it would be nice if we could trap the exception higher up the stack in the HiveSink and report the offending column and rethrow with the column in the message.

This would greatly help when trying to find data issues coming from the source (JdbcSource).

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Look at the HiveSink and HiveWriter classes to understand the exception flow from the Parquet/Orc format writers. Identify where exceptions are caught and how column information can be propagated. The goal is to wrap the exception with the offending column name in the error message before rethrowing.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
hadoop, scala
Ambito
backend, data-engineering
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.