awslabs / awslabs/python-deequ
Can't execute the assertion: An exception was raised by the Python Proxy. Return Message: Object ID unknown
- Lingua principale
- Jupyter Notebook
- Stelle
- 826
- Fork
- 158
- Merge medio
- 9g 22h
- PR unite (30g)
- 3
Descrizione
**Describe the bug**
When using "check.hasSize" showing a Failure constraint message "Can't execute the assertion: An exception was raised by the Python Proxy. Return Message: Object ID unknown!". Should be a success.
deequ jar version: deequ-1.2.0-spark-2.4.jar
Spark Version: 2.4
Python Version: 3
```
checkResult = VerificationSuite(spark) \
.onData(df) \
.addCheck(
check.hasSize(lambda x: x >= 3000000) \
.hasMin("star_rating", lambda x: x == 1.0) \
.hasMax("star_rating", lambda x: x == 5.0) \
.isComplete("review_id") \
.isUnique("review_id") \
.isComplete("marketplace") \
.isContainedIn("marketplace", ["US", "UK", "DE", "JP", "FR"]) \
.isNonNegative("year")) \
.run()
```
**To Reproduce**
Define and Run Tests for Data section of this below notebook,
https://github.com/awslabs/python-deequ/blob/master/tutorials/test_data_quality_at_scale.ipynb
**Expected behavior**
Constraint check should be a success as the dataset contains > 3000000 records.
**Screenshots**

Attached.
**Additional context**
Tried multiple versions of the deequ jar starting from deequ-1.0.3.jar TO deequ-1.2.0-spark-2.4.jar.
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia eseguendo la sezione Define and Run Tests for Data di tutorials/test_data_quality_at_scale.ipynb con le versioni indicate di Python, Spark 2.4 e Deequ 1.2.0-spark-2.4. Confronta check.hasSize con gli altri vincoli e traccia il punto in cui il Python Proxy segnala “Object ID unknown”; l’attività è completata quando il vincolo sulla dimensione ha esito positivo per il dataset di esempio.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- jupyter-notebook, python, spark
- Ambito
- data, testing
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Tranquilla
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100