awslabs / awslabs/python-deequ

support for row level DQ result-report missing

Offen
#223 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Jupyter Notebook
Sterne
826
Forks
158
Ø Merge
9 T. 22 Std.
Gemergte PRs (30 T.)
3

Beschreibung

Hello folks, it seems u forgot to expose in Python PyDeequ, the following Deequ Scala method, which in turn makes it impossible to use PyDeequ to produce row level DQ report - only column/dataset SUMMARY level DQ reports are possible at the moment

[def rowLevelResultsAsDataFrame( sparkSession: SparkSession, verificationResult: VerificationResult, data: DataFrame): DataFrame = {](https://github.com/awslabs/deequ/blob/master/src/main/scala/com/amazon/deequ/VerificationResult.scala)

why is that, any plans to rectify and when?

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit dem Lesen der PyDeequ-Bindings und vergleiche sie mit der in der Issue verlinkten Methode rowLevelResultsAsDataFrame aus Deequs VerificationResult.scala. Verfolge, wie bestehende Ergebnisse auf Zusammenfassungsebene für Python verfügbar gemacht werden, und identifiziere die entsprechenden Tests oder Beispiele. Als erledigt gilt die Aufgabe, wenn PyDeequ einen nutzbaren Bericht auf Zeilenebene als Spark DataFrame bereitstellt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, scala
Bereich
api, data-engineering
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
50/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.