awslabs / awslabs/python-deequ

checks.py does not support where clause filter of deequ

Abierto
#44 2 comentarios 0 reacciones 0 asignados Ver en GitHub
enhancement
Lenguaje dominante
Jupyter Notebook
Estrellas
826
Forks
158
Merge medio
9 d 22 h
PR fusionados (30 d)
3

Descripción

from pydeequ.checks import *
from pydeequ.verification import *

check = Check(spark, CheckLevel.Warning, "Review Check")

checkResult = VerificationSuite(spark) \
.onData(df) \
.addCheck(
check.hasCompleteness('b',lambda x: x >= .5).where("b is not NULL")
deequ support where clause pydeequ have not added the suppport for where clause

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza en checks.py y sigue cómo se construyen las métricas de Check a partir de la llamada a hasCompleteness del ejemplo. Compara el encadenamiento solicitado .where("b is not NULL") con el flujo de checks existente; se considera terminado cuando se admite el uso mostrado de la cláusula where sin romper los checks existentes.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
data
Tipo de issue
Nueva funcionalidad
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Tranquilo
Claridad
Bastante claro
Aptitud para principiantes
45/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.