AbsaOSS / AbsaOSS/dataset-comparison
Data preporcessing
未關閉
enhancement
low
- 主要語言
- Scala
- 星號
- 2
- 分支
- 0
- PR 合併指標
- 30 天內沒有已合併 PR
描述
Add preprocessing to parquet files before comparing them
### Motivation
We can remove columns that are not necessary or unwanted for comparison.
### Tasks
- [ ] Create Preprocess class
- [ ] add method preprocess
- [ ] method will remove columns with specific names (timestamps, run id)
```
貢獻指南
評估
這個 Issue 還沒有評估資料。