Leverage the `columnNameOfCorruptRecord` existence in case of parsing errors
Offen
enhancement
- Vorherrschende Sprache
- Scala
- Sterne
- 4
- Forks
- 0
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
## Background
If a special column, which name is specified by Spark `spark.sql.columnNameOfCorruptRecord` setting, exists in the schema, it is used to log parsing errors into it.
## Feature
If the column of the name specified in `spark.sql.columnNameOfCorruptRecord` exists in the schema, use it for logging parsing errors there.
Related to and dependent on #1
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Bewertung
Dieses Issue wurde noch nicht bewertet.