AbsaOSS / AbsaOSS/atum-service

Measurement Builder: perform calculations together / closer to each other, on a single DF pass ideally

オープン
#98 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
Agent enhancement
主要言語
Scala
スター
6
フォーク
1
平均マージ
2日 7時間
マージ済み PR(30日)
4

説明

## Background
Currently, measurements are applied sequentially to a given dataframe. This might be not optimal - besides, this approach doesn't bring any benefit, it only slows things down. A better would be to somehow aggregate the measurements so that they get executed on a single pass through data. This might require implementing slightly different approach to `Measure.scala` using some kind of MeasurementBuilder class.

Except for Measure class, some other things might be changed here, see https://github.com/AbsaOSS/atum-service/pull/79#discussion_r1374159776 for example.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。