awslabs / awslabs/python-deequ
add support for Row Level of granularity DQ reports
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 826
- Forks
- 158
- Ø Merge
- 9 T. 22 Std.
- Gemergte PRs (30 T.)
- 3
Beschreibung
Hello folks, it seems u forgot to expose in Python PyDeequ, the following Deequ Scala method, which in turn makes it impossible to use PyDeequ to produce row level DQ report - only column/dataset SUMMARY level DQ reports are possible at the moment
[def rowLevelResultsAsDataFrame( sparkSession: SparkSession, verificationResult: VerificationResult, data: DataFrame): DataFrame = {](https://github.com/awslabs/deequ/blob/master/src/main/scala/com/amazon/deequ/VerificationResult.scala)
why is that, any plans to rectify and when?
Beitragsleitfaden
Rechercherichtung
Beginne mit der Python-API in diesem Repository und vergleiche ihre Report-Hilfsfunktionen mit Deequs Methode rowLevelResultsAsDataFrame in src/main/scala/com/amazon/deequ/VerificationResult.scala. Verfolge, wie VerificationResult- und DataFrame-Eingaben offengelegt werden, und überprüfe anschließend, dass PyDeequ zusätzlich zu Spalten- und Dataset-Zusammenfassungen DQ-Reports auf Zeilenebene erzeugen kann.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python, scala, spark
- Bereich
- api, data
- Issue-Typ
- Feature
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 55/100