AbsaOSS / AbsaOSS/spark-commons

Implement error handling by putting the info into _Spark_'s standard error column (`String`)

Aberta
#86 0 comentários 0 reações 0 responsáveis Ver no GitHub
enhancement
Linguagem predominante
Scala
Estrelas
7
Forks
0
Merge médio
19h 57min
PRs com merge (30d)
1

Descrição

## Background
One of the provided `ErrorHandling` implementations. Title is actually little misleading, point is to write the errors into string column, and the column name should default into `spark.sql.columnNameOfCorruptRecord` (See [Runtime SQL Configuration](https://spark.apache.org/docs/latest/configuration.html#runtime-sql-configuration))

## Feature
Write errors into a `StringType` column, by converting each error submit filed into a string and concatenating them with a delimiter. The column name should/might default to `spark.sql.columnNameOfCorruptRecord`

## Proposed Solution
Solution Ideas:
* Configurable error delimiter (delimiter between different errors), default `\n`
* Configurable error field delimiter, default `,`
* Enable quoting? Probably yes

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.