awslabs / awslabs/python-deequ
[BUG] Holt Winters Anomaly Strategy fails due to `NoClassDefFoundError`
Nessuno ha ancora preso questa issue.
- Lingua principale
- Jupyter Notebook
- Stelle
- 826
- Fork
- 158
- Merge medio
- 9g 22h
- PR unite (30g)
- 3
Descrizione
Holt Winters Anomaly Strategy fails due to NoClassDefFoundError
To Reproduce
Steps to reproduce the behavior:
- Replicating Glue tutorial for the anomaly detection using Holt Winters Anomaly Strategy.
- Attempted with the following combinations of versions:
- AWS Glue version 4, Spark 3.3, pydeequ 1.4.0, deequ jar com.amazon.deequ:deequ:2.0.7-spark-3.3.
- AWS Glue version 3, Spark 3.1, pydeeqy 1.4.0, deequ jar com.amazon.deequ:deequ:2.0.7-spark-3.1
- I ran the code below after generating the metrics for years 2013 and 2014:
for month in range(1,9):
date = "\'2015" +'/'+str(month)+"\'"
df = df_2015.filter("review_date =" + date)
key_tags = {'tag': date}
result_key_2015 = ResultKey(session, ResultKey.current_milli_time(), key_tags)
jewelry_result = VerificationSuite(session).onData(df)\
.useRepository(metricsRepository) \
.saveOrAppendResult(result_key_2015) \
.addAnomalyCheck(HoltWinters(session, MetricInterval.Monthly, SeriesSeasonality.Yearly), Sum('total_votes'))\
.run()
- I get the following error:
Py4JJavaError: An error occurred while calling o560.run.
: java.lang.NoClassDefFoundError: breeze/stats/package$
at com.amazon.deequ.anomalydetection.seasonal.HoltWinters.detect(HoltWinters.scala:243)
at com.amazon.deequ.anomalydetection.AnomalyDetector.detectAnomaliesInHistory(AnomalyDetector.scala:98)
.....
Expected behavior
The expected behavior is to obtain a message that anomaly has been detected.
What can be done to fix this error? Thank you.
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Inizia da tutorials/glue_tutorials/advanced_anomaly_detection_tutorial.ipynb e dalla chiamata HoltWinters segnalata dopo la generazione delle metriche del 2013 e del 2014. Confronta le versioni elencate di AWS Glue, Spark, pydeequ e Deequ mentre indaghi sulla dipendenza mancante breeze/stats/package$. Il lavoro è completato quando l’esempio viene eseguito senza NoClassDefFoundError e segnala se è stata rilevata un’anomalia.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- aws, jupyter-notebook, python
- Ambito
- analytics, data
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100