AbsaOSS / AbsaOSS/cobrix

Add an error column containing decoding errors of each record

Aperta
#285 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
Scala
Stelle
170
Fork
96
Merge medio
57m
PR unite (30g)
2

Descrizione

## Background
Spark data sources, like `csv`, create a column containing bogus records it was unable to parse.
Currently, `spark-cobol` just ignores all decoding errors and writes `null` to the target fields.

## Feature
It would be great if `spark-cobol` generated a column `decoring_errors`, containing all fields and values it failed to decode.
This should be optional (with the default being `false`) since generating this column can have an impact on performance and the output size.

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.