awslabs / awslabs/python-deequ

Store incorrect data with a column where all the reasons for the failure

Ouverte
#83 2 commentaires 1 réaction 0 personnes assignées Voir sur GitHub
enhancement question
Langage dominant
Jupyter Notebook
Étoiles
826
Forks
158
Merge moyen
9 j 22 h
PR mergées (30 j)
3

Description

I have a requirement to run Data Quality Test So I am using Amazon python-deequ for this. I am able to find the Data Quality Success/Failure Status, but next I want to get all the rows that failed with a column where all the reasons for the failure are logged and Store into another DataFrame/Hive Table.
Thanks

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Aucun fichier, test ou point d’entrée n’est identifié dans l’issue. Commencez par localiser la Python API autour des résultats des contrôles de qualité des données et déterminez si les lignes en échec et les raisons de l’échec sont exposées ; le travail est terminé lorsque ces lignes sont renvoyées avec une colonne indiquant la raison et peuvent être stockées dans un autre DataFrame ou une table Hive.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python
Domaine
data-engineering, databases
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
Calme
Clarté
À clarifier
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.