awslabs / awslabs/python-deequ

Store incorrect data with a column where all the reasons for the failure

Offen
#83 2 Kommentare 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen
enhancement question
Vorherrschende Sprache
Jupyter Notebook
Sterne
826
Forks
158
Ø Merge
9 T. 22 Std.
Gemergte PRs (30 T.)
3

Beschreibung

I have a requirement to run Data Quality Test So I am using Amazon python-deequ for this. I am able to find the Data Quality Success/Failure Status, but next I want to get all the rows that failed with a column where all the reasons for the failure are logged and Store into another DataFrame/Hive Table.
Thanks

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Im Issue sind keine Dateien, Tests oder Einstiegspunkte angegeben. Beginne damit, die Python API rund um die Ergebnisse von Datenqualitätsprüfungen zu lokalisieren, und ermittle, ob fehlgeschlagene Zeilen und Fehlergründe offengelegt werden; abgeschlossen ist die Aufgabe, wenn diese Zeilen mit einer Spalte für den Grund zurückgegeben werden und in einem anderen DataFrame oder einer Hive-Tabelle gespeichert werden können.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
data-engineering, databases
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Ruhig
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.