AbsaOSS / AbsaOSS/enceladus

Spark date handling settings can mess up dates in Standardization-Conformance combined job

Đang mở
#2,189 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
bug Conformance priority: high Standardization
Ngôn ngữ chính
Scala
Star
33
Fork
16
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

## Describe the bug
While #2175/#2184 solves for the ability to process dates prior to 1900 in Enceladus 3 (without code change), the way how it is done actually introduced a possible bug of messing up the dates.
In case a pair of different settings (LEGACY-CORRECTED) is used for read and write a combined job of Standardization&Conformance will mess up the dates.

## To Reproduce
Steps to reproduce the behavior OR commands run:
1. Have a dataset with timestamps pre 1900 from ambiguous interval
2. Run Standardization & Conformance job with settings read LEGACY, write CORRECTED
3. Dates will be messed up

## Expected behavior
Data should remain correct

## Additional context
Consider adding the information of used date reading standard into the _INFO file.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Start by reproducing the Standardization and Conformance combined job with pre-1900 timestamps and LEGACY read versus CORRECTED write settings. Trace how the date-reading and date-writing standards are applied, then verify that dates remain correct and assess whether the used reading standard can be recorded in the _INFO file.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
scala, spark
Lĩnh vực
data-engineering
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.