Processing checkpoints and destructive operations on Dataframe
Đang mở
- Ngôn ngữ chính
- Scala
- Star
- 30
- Fork
- 9
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
We need to come up with a way to process checkpoints between destructive operations. So if I do filtering of the data and lose some rows, I can flag the next checkpoint as "post-destructive", "deduplication" or something similar.
This will pay off a lot when we implement validation #95 and have the ability to attach the control measures onto data frame instead of spark session.
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Đánh giá
Issue này chưa được đánh giá.