AbsaOSS / AbsaOSS/enceladus

Add an ability to run Conformance on a streaming source

Aperta
#1,014 2 commenti 0 reazioni 1 assegnatario Rivendicata da @yruslan Vedi su GitHub
Conformance feature priority: medium under discussion
Lingua principale
Scala
Stelle
33
Fork
16
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

## Background
Add streaming support for Dynamic Conformance requires changes in the way we handle inputs, outputs and control measurements.

## Feature
Add initial support for running Conformance for a streaming source.
* Add command line parameters to identify that the job is streaming, specify the checkpoint location, etc.
* Change the way we load data to create dataframes.
* Change the way we save the output data.

Guida per i contributori

Apri la guida per i contributori

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.