AbsaOSS / AbsaOSS/dataset-comparison
Data preporcessing
Offen
enhancement
low
- Vorherrschende Sprache
- Scala
- Sterne
- 2
- Forks
- 0
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Add preprocessing to parquet files before comparing them
### Motivation
We can remove columns that are not necessary or unwanted for comparison.
### Tasks
- [ ] Create Preprocess class
- [ ] add method preprocess
- [ ] method will remove columns with specific names (timestamps, run id)
```
Beitragsleitfaden
Bewertung
Dieses Issue wurde noch nicht bewertet.