awslabs / awslabs/python-deequ
support for row level DQ result-report missing
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 826
- Forks
- 158
- Ø Merge
- 9 T. 22 Std.
- Gemergte PRs (30 T.)
- 3
Beschreibung
Hello folks, it seems u forgot to expose in Python PyDeequ, the following Deequ Scala method, which in turn makes it impossible to use PyDeequ to produce row level DQ report - only column/dataset SUMMARY level DQ reports are possible at the moment
[def rowLevelResultsAsDataFrame( sparkSession: SparkSession, verificationResult: VerificationResult, data: DataFrame): DataFrame = {](https://github.com/awslabs/deequ/blob/master/src/main/scala/com/amazon/deequ/VerificationResult.scala)
why is that, any plans to rectify and when?
Beitragsleitfaden
Rechercherichtung
Beginne mit dem Lesen der PyDeequ-Bindings und vergleiche sie mit der in der Issue verlinkten Methode rowLevelResultsAsDataFrame aus Deequs VerificationResult.scala. Verfolge, wie bestehende Ergebnisse auf Zusammenfassungsebene für Python verfügbar gemacht werden, und identifiziere die entsprechenden Tests oder Beispiele. Als erledigt gilt die Aufgabe, wenn PyDeequ einen nutzbaren Bericht auf Zeilenebene als Spark DataFrame bereitstellt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python, scala
- Bereich
- api, data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 50/100