AbsaOSS / AbsaOSS/pramen

Stateful data checks for ingestion and other types of jobs

Offen
#220 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
DE DS enhancement Pramen-Scala
Vorherrschende Sprache
Scala
Sterne
31
Forks
4
Ø Merge
1 T. 10 Min.
Gemergte PRs (30 T.)
4

Beschreibung

## Background
TBD

## Feature
Stateful data checks for ingestion and other types of jobs

## Example
- Check that the number of records in the ingested snapshot today does not deviate too much from the one ingested for the previous day
- Similar checks for transformers and sinks

## Proposed Solution
- Should be configuration-only solution

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.