AbsaOSS / AbsaOSS/enceladus

MenasConverter incorrectly handles Array's containsNull

オープン
#1,404 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
bug priority: undecided
主要言語
Scala
スター
33
フォーク
16
PR マージ指標
30日以内にマージされた PR はありません

説明

## Describe the bug
Having an array with `containsNull` value of `false`, the value is lost when converting from Spark's `DataType` to `Menas SchemaField`

## To Reproduce
```scala
val sparkSchema = Seq(
StructField("arrayWithoutNulls", ArrayType(StringType, containsNull = false))
)

val menasSchema = sparkConverter.convertSparkToMenasFields(sparkSchema)
val sparkSchema2 = sparkConverter.convertMenasToSparkFields(menasSchema)

assert(sparkSchema == sparkSchema2) // will fail
```

The message:
```
Expected :List(StructField(arrayWithoutNulls,ArrayType(StringType,true),true))
Actual :List(StructField(arrayWithoutNulls,ArrayType(StringType,false),true))
```

## Expected behaviour
The value should be kept during the conversion.

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。