awslabs / awslabs/python-deequ
checks.py does not support where clause filter of deequ
- Langage dominant
- Jupyter Notebook
- Étoiles
- 826
- Forks
- 158
- Merge moyen
- 9 j 22 h
- PR mergées (30 j)
- 3
Description
from pydeequ.checks import *
from pydeequ.verification import *
check = Check(spark, CheckLevel.Warning, "Review Check")
checkResult = VerificationSuite(spark) \
.onData(df) \
.addCheck(
check.hasCompleteness('b',lambda x: x >= .5).where("b is not NULL")
deequ support where clause pydeequ have not added the suppport for where clause
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Commencez dans checks.py et suivez la manière dont les métriques de Check sont construites à partir de l'appel hasCompleteness de l'exemple. Comparez le chaînage demandé .where("b is not NULL") avec le flux de vérification existant ; le travail est terminé lorsque l'utilisation de la clause where montrée est prise en charge sans casser les checks existants.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- python
- Domaine
- data
- Type d'issue
- Fonctionnalité
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Activité
- Calme
- Clarté
- Plutôt claire
- Accessibilité débutants
- 45/100