awslabs / awslabs/python-deequ
checks.py does not support where clause filter of deequ
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 826
- Forks
- 158
- Ø Merge
- 9 T. 22 Std.
- Gemergte PRs (30 T.)
- 3
Beschreibung
from pydeequ.checks import *
from pydeequ.verification import *
check = Check(spark, CheckLevel.Warning, "Review Check")
checkResult = VerificationSuite(spark) \
.onData(df) \
.addCheck(
check.hasCompleteness('b',lambda x: x >= .5).where("b is not NULL")
deequ support where clause pydeequ have not added the suppport for where clause
Beitragsleitfaden
Rechercherichtung
Starte in checks.py und verfolge, wie Check-Metriken aus dem hasCompleteness-Aufruf des Beispiels erstellt werden. Vergleiche die angeforderte .where("b is not NULL")-Verkettung mit dem bestehenden Check-Ablauf; als erledigt gilt die Aufgabe, wenn die gezeigte Verwendung der where-Klausel unterstützt wird, ohne bestehende Checks zu beeinträchtigen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- data
- Issue-Typ
- Feature
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 45/100