awslabs / awslabs/python-deequ

Add support for datetime/date datatypes and columns

Offen
#82 2 Kommentare 2 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Jupyter Notebook
Sterne
826
Forks
158
Ø Merge
9 T. 22 Std.
Gemergte PRs (30 T.)
3

Beschreibung

**Is your feature request related to a problem? Please describe.**
I would like to run data quality checks such as Maximum() or Minimum() on datetime columns (DateType or Timestamp type in Spark).

**Describe the solution you'd like**
Add support for datetime columns in the API ([ConstrainableDataTypes](https://pydeequ.readthedocs.io/en/latest/pydeequ.html#pydeequ.checks.ConstrainableDataTypes), Analyzers, Profilers).

**Describe alternatives you've considered**
I'm currently converting datetime columns to a numeric datatype (unix_timestamp), but it would be great if we could use the API on the original columns, in order to avoid conversion bugs/issues.

Thanks for considering my request! 🙂

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit der ConstrainableDataTypes API und untersuche anschließend die im Issue genannten Analyzers und Profilers, um nachzuverfolgen, wie numerische Spalten derzeit verarbeitet werden. Überprüfe das erwartete Verhalten für Spark DateType- und Timestamp-Spalten, einschließlich Maximum() und Minimum(); als erledigt gilt die Aufgabe, wenn diese Prüfungen mit ursprünglichen datetime-Spalten ohne Konvertierung durch unix_timestamp funktionieren.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, spark
Bereich
data
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.