Processing checkpoints and destructive operations on Dataframe
オープン
- 主要言語
- Scala
- スター
- 30
- フォーク
- 9
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
We need to come up with a way to process checkpoints between destructive operations. So if I do filtering of the data and lose some rows, I can flag the next checkpoint as "post-destructive", "deduplication" or something similar.
This will pay off a lot when we implement validation #95 and have the ability to attach the control measures onto data frame instead of spark session.
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
評価
この issue はまだ評価されていません。