awslabs / awslabs/python-deequ
Store incorrect data with a column where all the reasons for the failure
- Langage dominant
- Jupyter Notebook
- Étoiles
- 826
- Forks
- 158
- Merge moyen
- 9 j 22 h
- PR mergées (30 j)
- 3
Description
I have a requirement to run Data Quality Test So I am using Amazon python-deequ for this. I am able to find the Data Quality Success/Failure Status, but next I want to get all the rows that failed with a column where all the reasons for the failure are logged and Store into another DataFrame/Hive Table.
Thanks
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Aucun fichier, test ou point d’entrée n’est identifié dans l’issue. Commencez par localiser la Python API autour des résultats des contrôles de qualité des données et déterminez si les lignes en échec et les raisons de l’échec sont exposées ; le travail est terminé lorsque ces lignes sont renvoyées avec une colonne indiquant la raison et peuvent être stockées dans un autre DataFrame ou une table Hive.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- python
- Domaine
- data-engineering, databases
- Type d'issue
- Fonctionnalité
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- Calme
- Clarté
- À clarifier
- Accessibilité débutants
- 35/100