awslabs / awslabs/python-deequ

checks.py does not support where clause filter of deequ

Ouverte
#44 2 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
enhancement
Langage dominant
Jupyter Notebook
Étoiles
826
Forks
158
Merge moyen
9 j 22 h
PR mergées (30 j)
3

Description

from pydeequ.checks import *
from pydeequ.verification import *

check = Check(spark, CheckLevel.Warning, "Review Check")

checkResult = VerificationSuite(spark) \
.onData(df) \
.addCheck(
check.hasCompleteness('b',lambda x: x >= .5).where("b is not NULL")
deequ support where clause pydeequ have not added the suppport for where clause

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez dans checks.py et suivez la manière dont les métriques de Check sont construites à partir de l'appel hasCompleteness de l'exemple. Comparez le chaînage demandé .where("b is not NULL") avec le flux de vérification existant ; le travail est terminé lorsque l'utilisation de la clause where montrée est prise en charge sans casser les checks existants.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python
Domaine
data
Type d'issue
Fonctionnalité
Difficulté
3/5
Temps estimé
1-2 jours
Activité
Calme
Clarté
Plutôt claire
Accessibilité débutants
45/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.