awslabs / awslabs/python-deequ

checks.py does not support where clause filter of deequ

Offen
#44 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Jupyter Notebook
Sterne
826
Forks
158
Ø Merge
9 T. 22 Std.
Gemergte PRs (30 T.)
3

Beschreibung

from pydeequ.checks import *
from pydeequ.verification import *

check = Check(spark, CheckLevel.Warning, "Review Check")

checkResult = VerificationSuite(spark) \
.onData(df) \
.addCheck(
check.hasCompleteness('b',lambda x: x >= .5).where("b is not NULL")
deequ support where clause pydeequ have not added the suppport for where clause

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Starte in checks.py und verfolge, wie Check-Metriken aus dem hasCompleteness-Aufruf des Beispiels erstellt werden. Vergleiche die angeforderte .where("b is not NULL")-Verkettung mit dem bestehenden Check-Ablauf; als erledigt gilt die Aufgabe, wenn die gezeigte Verwendung der where-Klausel unterstützt wird, ohne bestehende Checks zu beeinträchtigen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
data
Issue-Typ
Feature
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.