awslabs / awslabs/python-deequ

Data freshness metric

Chiusa
#205 3 commenti 0 reazioni 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
Jupyter Notebook
Stelle
826
Fork
158
Merge medio
9g 22h
PR unite (30g)
3

Descrizione

**Is your feature request related to a problem? Please describe.**
I did not find Data freshness metric in the list of Analyzers. We would need this to verify we have the latest data

**Describe the solution you'd like**
An analyzer in deequ and pydeequ that can check data for staleness by days, hours, minutes

**Describe alternatives you've considered**
Considered using Python code to determine freshness but its probably more optimized in deequ (Scala)

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Esamina gli analyzer esistenti in Deequ e pyDeequ, iniziando da come sono rappresentati gli input degli analyzer e i controlli basati sul tempo. Verifica come dovrebbe funzionare una soglia di freschezza su giorni, ore e minuti, quindi verifica il risultato utilizzando timestamp dei dati rappresentativi. Il lavoro è completato quando entrambe le API sono in grado di rilevare in modo coerente l'obsolescenza dei dati.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python, scala
Ambito
data-engineering
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Attiva
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.