awslabs / awslabs/python-deequ

Add support for datetime/date datatypes and columns

Aperta
#82 2 commenti 2 reazioni 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
Jupyter Notebook
Stelle
826
Fork
158
Merge medio
9g 22h
PR unite (30g)
3

Descrizione

**Is your feature request related to a problem? Please describe.**
I would like to run data quality checks such as Maximum() or Minimum() on datetime columns (DateType or Timestamp type in Spark).

**Describe the solution you'd like**
Add support for datetime columns in the API ([ConstrainableDataTypes](https://pydeequ.readthedocs.io/en/latest/pydeequ.html#pydeequ.checks.ConstrainableDataTypes), Analyzers, Profilers).

**Describe alternatives you've considered**
I'm currently converting datetime columns to a numeric datatype (unix_timestamp), but it would be great if we could use the API on the original columns, in order to avoid conversion bugs/issues.

Thanks for considering my request! 🙂

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia con l’API ConstrainableDataTypes, quindi esamina gli Analyzers e i Profilers menzionati nell’issue per tracciare come vengono attualmente gestite le colonne numeriche. Verifica il comportamento previsto per le colonne Spark DateType e Timestamp, inclusi Maximum() e Minimum(); il lavoro è completato quando questi controlli funzionano sulle colonne datetime originali senza conversione tramite unix_timestamp.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python, spark
Ambito
data
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Tranquilla
Chiarezza
Abbastanza chiara
Idoneità per principianti
45/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.