AbsaOSS / AbsaOSS/cobrix

Add an error column containing decoding errors of each record

Offen
#285 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Scala
Sterne
170
Forks
96
Ø Merge
57 Min.
Gemergte PRs (30 T.)
2

Beschreibung

## Background
Spark data sources, like `csv`, create a column containing bogus records it was unable to parse.
Currently, `spark-cobol` just ignores all decoding errors and writes `null` to the target fields.

## Feature
It would be great if `spark-cobol` generated a column `decoring_errors`, containing all fields and values it failed to decode.
This should be optional (with the default being `false`) since generating this column can have an impact on performance and the output size.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.