awslabs / awslabs/python-deequ
Add support for datetime/date datatypes and columns
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 826
- Forks
- 158
- Ø Merge
- 9 T. 22 Std.
- Gemergte PRs (30 T.)
- 3
Beschreibung
**Is your feature request related to a problem? Please describe.**
I would like to run data quality checks such as Maximum() or Minimum() on datetime columns (DateType or Timestamp type in Spark).
**Describe the solution you'd like**
Add support for datetime columns in the API ([ConstrainableDataTypes](https://pydeequ.readthedocs.io/en/latest/pydeequ.html#pydeequ.checks.ConstrainableDataTypes), Analyzers, Profilers).
**Describe alternatives you've considered**
I'm currently converting datetime columns to a numeric datatype (unix_timestamp), but it would be great if we could use the API on the original columns, in order to avoid conversion bugs/issues.
Thanks for considering my request! 🙂
Beitragsleitfaden
Rechercherichtung
Beginne mit der ConstrainableDataTypes API und untersuche anschließend die im Issue genannten Analyzers und Profilers, um nachzuverfolgen, wie numerische Spalten derzeit verarbeitet werden. Überprüfe das erwartete Verhalten für Spark DateType- und Timestamp-Spalten, einschließlich Maximum() und Minimum(); als erledigt gilt die Aufgabe, wenn diese Prüfungen mit ursprünglichen datetime-Spalten ohne Konvertierung durch unix_timestamp funktionieren.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python, spark
- Bereich
- data
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 45/100