SparkSession conformance rule shouldn't kill whole job if key missing
Đang mở
Conformance
feature
Menas
priority: undecided
under discussion
- Ngôn ngữ chính
- Scala
- Star
- 33
- Fork
- 16
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
## Background
When SparkSession conformance rule is unable to find a key that the user has inputted, it kills the whole spark conformance job. This is unexpected.
error: `Exception in thread "main" java.util.NoSuchElementException: XXX`
## Feature
Instead of kill off the job, populate errCol with an apropriate message of not finding the key and put null in the column.
Hướng dẫn đóng góp
Đánh giá
Issue này chưa được đánh giá.