awslabs / awslabs/python-deequ

add support for Row Level of granularity DQ reports

Offen
#225 5 Kommentare 3 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Jupyter Notebook
Sterne
826
Forks
158
Ø Merge
9 T. 22 Std.
Gemergte PRs (30 T.)
3

Beschreibung

Hello folks, it seems u forgot to expose in Python PyDeequ, the following Deequ Scala method, which in turn makes it impossible to use PyDeequ to produce row level DQ report - only column/dataset SUMMARY level DQ reports are possible at the moment

[def rowLevelResultsAsDataFrame( sparkSession: SparkSession, verificationResult: VerificationResult, data: DataFrame): DataFrame = {](https://github.com/awslabs/deequ/blob/master/src/main/scala/com/amazon/deequ/VerificationResult.scala)

why is that, any plans to rectify and when?

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit der Python-API in diesem Repository und vergleiche ihre Report-Hilfsfunktionen mit Deequs Methode rowLevelResultsAsDataFrame in src/main/scala/com/amazon/deequ/VerificationResult.scala. Verfolge, wie VerificationResult- und DataFrame-Eingaben offengelegt werden, und überprüfe anschließend, dass PyDeequ zusätzlich zu Spalten- und Dataset-Zusammenfassungen DQ-Reports auf Zeilenebene erzeugen kann.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, scala, spark
Bereich
api, data
Issue-Typ
Feature
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
55/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.