AbsaOSS / AbsaOSS/enceladus

Add an ability to run Conformance on a streaming source

Offen
#1,014 2 Kommentare 0 Reaktionen 1 zugewiesene Person Beansprucht von @yruslan Auf GitHub ansehen
Conformance feature priority: medium under discussion
Vorherrschende Sprache
Scala
Sterne
33
Forks
16
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

## Background
Add streaming support for Dynamic Conformance requires changes in the way we handle inputs, outputs and control measurements.

## Feature
Add initial support for running Conformance for a streaming source.
* Add command line parameters to identify that the job is streaming, specify the checkpoint location, etc.
* Change the way we load data to create dataframes.
* Change the way we save the output data.

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.