awslabs / awslabs/python-deequ
Add support for datetime/date datatypes and columns
- Lingua principale
- Jupyter Notebook
- Stelle
- 826
- Fork
- 158
- Merge medio
- 9g 22h
- PR unite (30g)
- 3
Descrizione
**Is your feature request related to a problem? Please describe.**
I would like to run data quality checks such as Maximum() or Minimum() on datetime columns (DateType or Timestamp type in Spark).
**Describe the solution you'd like**
Add support for datetime columns in the API ([ConstrainableDataTypes](https://pydeequ.readthedocs.io/en/latest/pydeequ.html#pydeequ.checks.ConstrainableDataTypes), Analyzers, Profilers).
**Describe alternatives you've considered**
I'm currently converting datetime columns to a numeric datatype (unix_timestamp), but it would be great if we could use the API on the original columns, in order to avoid conversion bugs/issues.
Thanks for considering my request! 🙂
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia con l’API ConstrainableDataTypes, quindi esamina gli Analyzers e i Profilers menzionati nell’issue per tracciare come vengono attualmente gestite le colonne numeriche. Verifica il comportamento previsto per le colonne Spark DateType e Timestamp, inclusi Maximum() e Minimum(); il lavoro è completato quando questi controlli funzionano sulle colonne datetime originali senza conversione tramite unix_timestamp.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python, spark
- Ambito
- data
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Tranquilla
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 45/100