AbsaOSS / AbsaOSS/enceladus

When updating schema on dataset there is no check for collisions with conformance rules

オープン
#715 コメント 2 件 リアクション 1 件 担当者 0 名 GitHub で見る
bug Menas priority: medium
主要言語
Scala
スター
33
フォーク
16
PR マージ指標
30日以内にマージされた PR はありません

説明

## Describe the bug
If I have a schema with columns `a`,`b`,`c`, create a column `d` (string) using conformance rule and then update schema to contain `d` (timestamp) column of different kind and change it for the dataset, there is nothing stopping me and the mistake will be only evident in the middle of conformance when it tells me there already is column `d`.

## To Reproduce
Steps to reproduce the behavior OR commands run:
1. Have dataset `X` with columns `a`,`b`,`c`
2. Add conformance rule that creates columns `d`
3. Change schema of dataset `X` to have column `d` from raw.
4. Run standardization and conformance
5. See error from conformance in console/logger/STDOUT

## Expected behaviour
When changing/updating schema check if it is possible depending on output columns of conformance rules.

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。