awslabs / awslabs/python-deequ

Data freshness metric

Geschlossen
#205 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Jupyter Notebook
Sterne
826
Forks
158
Ø Merge
9 T. 22 Std.
Gemergte PRs (30 T.)
3

Beschreibung

**Is your feature request related to a problem? Please describe.**
I did not find Data freshness metric in the list of Analyzers. We would need this to verify we have the latest data

**Describe the solution you'd like**
An analyzer in deequ and pydeequ that can check data for staleness by days, hours, minutes

**Describe alternatives you've considered**
Considered using Python code to determine freshness but its probably more optimized in deequ (Scala)

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Überprüfe die vorhandenen Analyzer in Deequ und pyDeequ, beginnend damit, wie Analyzer-Eingaben und zeitbasierte Prüfungen dargestellt werden. Bestätige, wie ein Schwellenwert für die Datenaktualität über Tage, Stunden und Minuten hinweg funktionieren sollte, und überprüfe anschließend das Ergebnis anhand repräsentativer Datenzeitstempel. Als abgeschlossen gilt die Aufgabe, wenn beide APIs Datenveraltung konsistent erkennen können.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, scala
Bereich
data-engineering
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Aktiv
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.