SparkSession conformance rule shouldn't kill whole job if key missing
Aperta
Conformance
feature
Menas
priority: undecided
under discussion
- Lingua principale
- Scala
- Stelle
- 33
- Fork
- 16
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
## Background
When SparkSession conformance rule is unable to find a key that the user has inputted, it kills the whole spark conformance job. This is unexpected.
error: `Exception in thread "main" java.util.NoSuchElementException: XXX`
## Feature
Instead of kill off the job, populate errCol with an apropriate message of not finding the key and put null in the column.
Guida per i contributori
Apri la guida per i contributori
Valutazione
Questa issue non è ancora stata valutata.