awslabs / awslabs/python-deequ

checks.py does not support where clause filter of deequ

Aperta
#44 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
Jupyter Notebook
Stelle
826
Fork
158
Merge medio
9g 22h
PR unite (30g)
3

Descrizione

from pydeequ.checks import *
from pydeequ.verification import *

check = Check(spark, CheckLevel.Warning, "Review Check")

checkResult = VerificationSuite(spark) \
.onData(df) \
.addCheck(
check.hasCompleteness('b',lambda x: x >= .5).where("b is not NULL")
deequ support where clause pydeequ have not added the suppport for where clause

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia da checks.py e segui come vengono costruite le metriche di Check a partire dalla chiamata hasCompleteness dell'esempio. Confronta il concatenamento richiesto .where("b is not NULL") con il flusso di check esistente; il lavoro è completato quando l'uso della clausola where mostrato è supportato senza interrompere i check esistenti.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
data
Tipo di issue
Funzionalità
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Tranquilla
Chiarezza
Abbastanza chiara
Idoneità per principianti
45/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.