AbsaOSS / AbsaOSS/atum-service

Measurement Builder: perform calculations together / closer to each other, on a single DF pass ideally

Đang mở
#98 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Agent enhancement
Ngôn ngữ chính
Scala
Star
6
Fork
1
Merge trung bình
2 ngày 7 giờ
Pull request đã merge (30 ngày)
4

Mô tả

## Background
Currently, measurements are applied sequentially to a given dataframe. This might be not optimal - besides, this approach doesn't bring any benefit, it only slows things down. A better would be to somehow aggregate the measurements so that they get executed on a single pass through data. This might require implementing slightly different approach to `Measure.scala` using some kind of MeasurementBuilder class.

Except for Measure class, some other things might be changed here, see https://github.com/AbsaOSS/atum-service/pull/79#discussion_r1374159776 for example.

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.