awslabs / awslabs/python-deequ

Add support for datetime/date datatypes and columns

Ouverte
#82 2 commentaires 2 réactions 0 personnes assignées Voir sur GitHub
enhancement
Langage dominant
Jupyter Notebook
Étoiles
826
Forks
158
Merge moyen
9 j 22 h
PR mergées (30 j)
3

Description

**Is your feature request related to a problem? Please describe.**
I would like to run data quality checks such as Maximum() or Minimum() on datetime columns (DateType or Timestamp type in Spark).

**Describe the solution you'd like**
Add support for datetime columns in the API ([ConstrainableDataTypes](https://pydeequ.readthedocs.io/en/latest/pydeequ.html#pydeequ.checks.ConstrainableDataTypes), Analyzers, Profilers).

**Describe alternatives you've considered**
I'm currently converting datetime columns to a numeric datatype (unix_timestamp), but it would be great if we could use the API on the original columns, in order to avoid conversion bugs/issues.

Thanks for considering my request! 🙂

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par l’API ConstrainableDataTypes, puis examinez les Analyzers et Profilers mentionnés dans l’issue afin de suivre la manière dont les colonnes numériques sont actuellement traitées. Vérifiez le comportement attendu pour les colonnes Spark DateType et Timestamp, notamment Maximum() et Minimum() ; le travail est considéré comme terminé lorsque ces vérifications fonctionnent sur des colonnes datetime d’origine sans conversion via unix_timestamp.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python, spark
Domaine
data
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
Calme
Clarté
Plutôt claire
Accessibilité débutants
45/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.