AbsaOSS / AbsaOSS/atum

Processing checkpoints and destructive operations on Dataframe

オープン
#102 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Scala
スター
30
フォーク
9
PR マージ指標
30日以内にマージされた PR はありません

説明

We need to come up with a way to process checkpoints between destructive operations. So if I do filtering of the data and lose some rows, I can flag the next checkpoint as "post-destructive", "deduplication" or something similar.

This will pay off a lot when we implement validation #95 and have the ability to attach the control measures onto data frame instead of spark session.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。