awslabs / awslabs/python-deequ

AWS Glue Job runs indefinitely after exception occurs when adding Checks to the VerificationSuite

Aperta
#156 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub
bug researching
Lingua principale
Jupyter Notebook
Stelle
826
Fork
158
Merge medio
9g 22h
PR unite (30g)
3

Descrizione

**Describe the bug**
When running PyDeequ Checks on an AWS Glue job, if an exception occurs (e.g. accidentally calling `hasCompletenss(...)` instead of `hasCompleteness(...)`), the Glue job will keep running indefinitely.

**To Reproduce**
Glue 4.0
deequ-2.0.4-spark-3.3.jar
python-deequ 1.1.0
```
check_result = (
VerificationSuite(spark)
.onData(df)
.addCheck(
check.isComplete("primary_key")
.hasCompletenss("product_name", lambda x: x > 0.999) #notice the typo
)
.run()
```
**Expected behavior**
The expectation is that when errors such as this occur, the Glue job stops running or an exception is thrown so the callback server and spark session can be shut down:

**Screenshots**
In the CloudWatch Glue error logs you see that the job continues polling for executor status:
image

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia riproducendo il problema con Glue 4.0, deequ-2.0.4-spark-3.3.jar e python-deequ 1.1.0, concentrandoti su VerificationSuite, addCheck e run. Traccia la gestione dell’eccezione derivante dal metodo di controllo scritto in modo errato e verifica che il job si arresti e che il server di callback e la sessione Spark vengano chiusi, invece di eseguire il polling indefinitamente.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
aws, python, spark
Ambito
backend, cloud, data-engineering
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Tranquilla
Chiarezza
Abbastanza chiara
Idoneità per principianti
38/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.