AbsaOSS / AbsaOSS/cobrix

Add an error column containing decoding errors of each record

Ouverte
#285 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
enhancement
Langage dominant
Scala
Étoiles
170
Forks
96
Merge moyen
57 min
PR mergées (30 j)
2

Description

## Background
Spark data sources, like `csv`, create a column containing bogus records it was unable to parse.
Currently, `spark-cobol` just ignores all decoding errors and writes `null` to the target fields.

## Feature
It would be great if `spark-cobol` generated a column `decoring_errors`, containing all fields and values it failed to decode.
This should be optional (with the default being `false`) since generating this column can have an impact on performance and the output size.

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.