AbsaOSS / AbsaOSS/dataset-comparison

Data preporcessing

未關閉
#10 0 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視
enhancement low
主要語言
Scala
星號
2
分支
0
PR 合併指標
30 天內沒有已合併 PR

描述

Add preprocessing to parquet files before comparing them

### Motivation
We can remove columns that are not necessary or unwanted for comparison.

### Tasks
- [ ] Create Preprocess class
- [ ] add method preprocess
- [ ] method will remove columns with specific names (timestamps, run id)
```

貢獻指南

開啟貢獻指南

評估

這個 Issue 還沒有評估資料。

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。