awslabs / awslabs/python-deequ
Store incorrect data with a column where all the reasons for the failure
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 826
- Forks
- 158
- Ø Merge
- 9 T. 22 Std.
- Gemergte PRs (30 T.)
- 3
Beschreibung
I have a requirement to run Data Quality Test So I am using Amazon python-deequ for this. I am able to find the Data Quality Success/Failure Status, but next I want to get all the rows that failed with a column where all the reasons for the failure are logged and Store into another DataFrame/Hive Table.
Thanks
Beitragsleitfaden
Rechercherichtung
Im Issue sind keine Dateien, Tests oder Einstiegspunkte angegeben. Beginne damit, die Python API rund um die Ergebnisse von Datenqualitätsprüfungen zu lokalisieren, und ermittle, ob fehlgeschlagene Zeilen und Fehlergründe offengelegt werden; abgeschlossen ist die Aufgabe, wenn diese Zeilen mit einer Spalte für den Grund zurückgegeben werden und in einem anderen DataFrame oder einer Hive-Tabelle gespeichert werden können.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- data-engineering, databases
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 35/100