awslabs / awslabs/python-deequ

[BUG] Holt Winters Anomaly Strategy fails due to `NoClassDefFoundError`

Aperta
#226 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

bug
Lingua principale
Jupyter Notebook
Stelle
826
Fork
158
Merge medio
9g 22h
PR unite (30g)
3

Descrizione

Holt Winters Anomaly Strategy fails due to NoClassDefFoundError

To Reproduce
Steps to reproduce the behavior:

  1. Replicating Glue tutorial for the anomaly detection using Holt Winters Anomaly Strategy.
  2. Attempted with the following combinations of versions:
  • AWS Glue version 4, Spark 3.3, pydeequ 1.4.0, deequ jar com.amazon.deequ:deequ:2.0.7-spark-3.3.
  • AWS Glue version 3, Spark 3.1, pydeeqy 1.4.0, deequ jar com.amazon.deequ:deequ:2.0.7-spark-3.1
  1. I ran the code below after generating the metrics for years 2013 and 2014:
for month in range(1,9):
    date = "\'2015" +'/'+str(month)+"\'"
    df = df_2015.filter("review_date =" + date)
    key_tags = {'tag':  date}
    result_key_2015 = ResultKey(session, ResultKey.current_milli_time(), key_tags)

    jewelry_result = VerificationSuite(session).onData(df)\
        .useRepository(metricsRepository) \
        .saveOrAppendResult(result_key_2015) \
        .addAnomalyCheck(HoltWinters(session, MetricInterval.Monthly, SeriesSeasonality.Yearly), Sum('total_votes'))\
        .run()
  1. I get the following error:
Py4JJavaError: An error occurred while calling o560.run.
: java.lang.NoClassDefFoundError: breeze/stats/package$
	at com.amazon.deequ.anomalydetection.seasonal.HoltWinters.detect(HoltWinters.scala:243)
	at com.amazon.deequ.anomalydetection.AnomalyDetector.detectAnomaliesInHistory(AnomalyDetector.scala:98)
.....

Expected behavior
The expected behavior is to obtain a message that anomaly has been detected.

What can be done to fix this error? Thank you.

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Direzione di ricerca

Inizia da tutorials/glue_tutorials/advanced_anomaly_detection_tutorial.ipynb e dalla chiamata HoltWinters segnalata dopo la generazione delle metriche del 2013 e del 2014. Confronta le versioni elencate di AWS Glue, Spark, pydeequ e Deequ mentre indaghi sulla dipendenza mancante breeze/stats/package$. Il lavoro è completato quando l’esempio viene eseguito senza NoClassDefFoundError e segnala se è stata rilevata un’anomalia.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
aws, jupyter-notebook, python
Ambito
analytics, data
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.