MenasConverter incorrectly handles Array's containsNull
- Ngôn ngữ chính
- Scala
- Star
- 33
- Fork
- 16
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
## Describe the bug
Having an array with `containsNull` value of `false`, the value is lost when converting from Spark's `DataType` to `Menas SchemaField`
## To Reproduce
```scala
val sparkSchema = Seq(
StructField("arrayWithoutNulls", ArrayType(StringType, containsNull = false))
)
val menasSchema = sparkConverter.convertSparkToMenasFields(sparkSchema)
val sparkSchema2 = sparkConverter.convertMenasToSparkFields(menasSchema)
assert(sparkSchema == sparkSchema2) // will fail
```
The message:
```
Expected :List(StructField(arrayWithoutNulls,ArrayType(StringType,true),true))
Actual :List(StructField(arrayWithoutNulls,ArrayType(StringType,false),true))
```
## Expected behaviour
The value should be kept during the conversion.
Hướng dẫn đóng góp
Đánh giá
Issue này chưa được đánh giá.