awslabs / awslabs/python-deequ
checks.py does not support where clause filter of deequ
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 826
- Forks
- 158
- Merge medio
- 9 d 22 h
- PR fusionados (30 d)
- 3
Descripción
from pydeequ.checks import *
from pydeequ.verification import *
check = Check(spark, CheckLevel.Warning, "Review Check")
checkResult = VerificationSuite(spark) \
.onData(df) \
.addCheck(
check.hasCompleteness('b',lambda x: x >= .5).where("b is not NULL")
deequ support where clause pydeequ have not added the suppport for where clause
Guía de contribución
Línea de trabajo
Comienza en checks.py y sigue cómo se construyen las métricas de Check a partir de la llamada a hasCompleteness del ejemplo. Compara el encadenamiento solicitado .where("b is not NULL") con el flujo de checks existente; se considera terminado cuando se admite el uso mostrado de la cláusula where sin romper los checks existentes.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python
- Área
- data
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Estado de actividad
- Tranquilo
- Claridad
- Bastante claro
- Aptitud para principiantes
- 45/100