AbsaOSS / AbsaOSS/enceladus

Add an ability to run Conformance on a streaming source

Ouverte
#1,014 2 commentaires 0 réactions 1 personne assignée Réclamée par @yruslan Voir sur GitHub
Conformance feature priority: medium under discussion
Langage dominant
Scala
Étoiles
33
Forks
16
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

## Background
Add streaming support for Dynamic Conformance requires changes in the way we handle inputs, outputs and control measurements.

## Feature
Add initial support for running Conformance for a streaming source.
* Add command line parameters to identify that the job is streaming, specify the checkpoint location, etc.
* Change the way we load data to create dataframes.
* Change the way we save the output data.

Guide de contribution

Ouvrir le guide de contribution

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.