AbsaOSS / AbsaOSS/enceladus

SparkSession conformance rule shouldn't kill whole job if key missing

Abierto
#543 2 comentarios 0 reacciones 0 asignados Ver en GitHub
Conformance feature Menas priority: undecided under discussion
Lenguaje dominante
Scala
Estrellas
33
Forks
16
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

## Background
When SparkSession conformance rule is unable to find a key that the user has inputted, it kills the whole spark conformance job. This is unexpected.

error: `Exception in thread "main" java.util.NoSuchElementException: XXX`

## Feature
Instead of kill off the job, populate errCol with an apropriate message of not finding the key and put null in the column.

Guía de contribución

Abrir la guía de contribución

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.