awslabs / awslabs/python-deequ
Store incorrect data with a column where all the reasons for the failure
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 826
- Forks
- 158
- Merge medio
- 9 d 22 h
- PR fusionados (30 d)
- 3
Descripción
I have a requirement to run Data Quality Test So I am using Amazon python-deequ for this. I am able to find the Data Quality Success/Failure Status, but next I want to get all the rows that failed with a column where all the reasons for the failure are logged and Store into another DataFrame/Hive Table.
Thanks
Guía de contribución
Línea de trabajo
En el issue no se identifican archivos, tests ni puntos de entrada. Empieza por localizar la Python API relacionada con los resultados de las comprobaciones de calidad de datos y determina si se exponen las filas fallidas y los motivos del fallo; se considera terminado cuando esas filas se devuelven con una columna de motivo y se pueden almacenar en otro DataFrame o en una tabla de Hive.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python
- Área
- data-engineering, databases
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Tranquilo
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 35/100