AbsaOSS / AbsaOSS/enceladus

Further partitioning of Publish data based on other fields in the Dataset

Aperta
#1,704 0 commenti 1 reazione 0 assegnatari Vedi su GitHub
Epic priority: undecided under discussion
Lingua principale
Scala
Stelle
33
Fork
16
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

## Background
It might be useful to further partition the data after the conformance phase, based on the fields of the dataset. Done per user setup.

## Goal
Enable sub-partitoning of data at the end of the Conformance phase based on dataset configuration

## Expected Task List
A list of expected issues that will be needed to achieve this Epic
1. New optional set-up for dataset specifying the sub-partioning based on the dataset fields
2. The actual partitioning in _SparkJobs_
3. According UI changes to allow the set up.

Guida per i contributori

Apri la guida per i contributori

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.