awslabs / awslabs/python-deequ

Can't execute the assertion: An exception was raised by the Python Proxy. Return Message: Object ID unknown

Offen
#94 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
bug
Vorherrschende Sprache
Jupyter Notebook
Sterne
826
Forks
158
Ø Merge
9 T. 22 Std.
Gemergte PRs (30 T.)
3

Beschreibung

**Describe the bug**

When using "check.hasSize" showing a Failure constraint message "Can't execute the assertion: An exception was raised by the Python Proxy. Return Message: Object ID unknown!". Should be a success.

deequ jar version: deequ-1.2.0-spark-2.4.jar
Spark Version: 2.4
Python Version: 3

```
checkResult = VerificationSuite(spark) \
.onData(df) \
.addCheck(
check.hasSize(lambda x: x >= 3000000) \
.hasMin("star_rating", lambda x: x == 1.0) \
.hasMax("star_rating", lambda x: x == 5.0) \
.isComplete("review_id") \
.isUnique("review_id") \
.isComplete("marketplace") \
.isContainedIn("marketplace", ["US", "UK", "DE", "JP", "FR"]) \
.isNonNegative("year")) \
.run()
```

**To Reproduce**
Define and Run Tests for Data section of this below notebook,
https://github.com/awslabs/python-deequ/blob/master/tutorials/test_data_quality_at_scale.ipynb

**Expected behavior**
Constraint check should be a success as the dataset contains > 3000000 records.

**Screenshots**
![PyDeequ_Exception](https://user-images.githubusercontent.com/103263613/162756727-168c321e-d066-428d-8b81-00f103928f28.png)
Attached.

**Additional context**
Tried multiple versions of the deequ jar starting from deequ-1.0.3.jar TO deequ-1.2.0-spark-2.4.jar.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne damit, den Abschnitt Define and Run Tests for Data in tutorials/test_data_quality_at_scale.ipynb mit den angegebenen Versionen Python, Spark 2.4 und Deequ 1.2.0-spark-2.4 auszuführen. Vergleiche check.hasSize mit den anderen Constraints und verfolge, an welcher Stelle der Python Proxy „Object ID unknown“ meldet; abgeschlossen ist die Aufgabe, wenn die Größen-Constraint für den Beispieldatensatz erfolgreich ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
jupyter-notebook, python, spark
Bereich
data, testing
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.