awslabs / awslabs/python-deequ
Add support for datetime/date datatypes and columns
- Langage dominant
- Jupyter Notebook
- Étoiles
- 826
- Forks
- 158
- Merge moyen
- 9 j 22 h
- PR mergées (30 j)
- 3
Description
**Is your feature request related to a problem? Please describe.**
I would like to run data quality checks such as Maximum() or Minimum() on datetime columns (DateType or Timestamp type in Spark).
**Describe the solution you'd like**
Add support for datetime columns in the API ([ConstrainableDataTypes](https://pydeequ.readthedocs.io/en/latest/pydeequ.html#pydeequ.checks.ConstrainableDataTypes), Analyzers, Profilers).
**Describe alternatives you've considered**
I'm currently converting datetime columns to a numeric datatype (unix_timestamp), but it would be great if we could use the API on the original columns, in order to avoid conversion bugs/issues.
Thanks for considering my request! 🙂
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Commencez par l’API ConstrainableDataTypes, puis examinez les Analyzers et Profilers mentionnés dans l’issue afin de suivre la manière dont les colonnes numériques sont actuellement traitées. Vérifiez le comportement attendu pour les colonnes Spark DateType et Timestamp, notamment Maximum() et Minimum() ; le travail est considéré comme terminé lorsque ces vérifications fonctionnent sur des colonnes datetime d’origine sans conversion via unix_timestamp.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- python, spark
- Domaine
- data
- Type d'issue
- Fonctionnalité
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- Calme
- Clarté
- Plutôt claire
- Accessibilité débutants
- 45/100