awslabs / awslabs/python-deequ
Data freshness metric
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 826
- Forks
- 158
- Ø Merge
- 9 T. 22 Std.
- Gemergte PRs (30 T.)
- 3
Beschreibung
**Is your feature request related to a problem? Please describe.**
I did not find Data freshness metric in the list of Analyzers. We would need this to verify we have the latest data
**Describe the solution you'd like**
An analyzer in deequ and pydeequ that can check data for staleness by days, hours, minutes
**Describe alternatives you've considered**
Considered using Python code to determine freshness but its probably more optimized in deequ (Scala)
Beitragsleitfaden
Rechercherichtung
Überprüfe die vorhandenen Analyzer in Deequ und pyDeequ, beginnend damit, wie Analyzer-Eingaben und zeitbasierte Prüfungen dargestellt werden. Bestätige, wie ein Schwellenwert für die Datenaktualität über Tage, Stunden und Minuten hinweg funktionieren sollte, und überprüfe anschließend das Ergebnis anhand repräsentativer Datenzeitstempel. Als abgeschlossen gilt die Aufgabe, wenn beide APIs Datenveraltung konsistent erkennen können.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python, scala
- Bereich
- data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Aktiv
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100