dotnet / dotnet/machinelearning-modelbuilder

Poor peerformance of TimeSeriesCatalog.ForecastBySsa Method

Offen
#2,276 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Stale untriaged
Vorherrschende Sprache
Dockerfile
Sterne
285
Forks
66
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

**System Information:**
Windows 11
Microsoft Visual Studio Professional 2022 (64-bit) - Current
Version 17.3.5

**Describe the bug**
I am very disappointed in the Time Series Model Builder project. I have the following comments:
1. There are 144 rows in my data file (VERU_9_26_2022_144.csv). The code that was generated by Model Builder set the value of “seriesLength” to 2118. The documentation states that “seriesLength” is “The length of series that is kept in buffer for modeling (parameter N)”. What the hell does that mean? The value of 2118 does not make sense. Please explain.

2. The code that was generated by Model Builder set “windowSize” to 50. I assume that “windowSize” and “seriesLength” ae hyperparameters. Is that true? If so, it would sure be nice if you guys would share that code that generated the values.

3. Model Builder gives the option to plot the error curve. That is necessary, but not sufficient. A plot of the predicted values is what researchers want to see. A table is not good enough. If you plot the predicted values generated by Model Builder you will see how bad the predictions are. Here is the plot of the predictions. The red dots are the predicted values:
![image](https://user-images.githubusercontent.com/1317234/193647990-608a56eb-0470-4a7e-b366-8dcfb28970d3.png)
No cigar!
Either there is a serious bug in Model Builder, or the SsaForecast algorithm is worthless.
I give this project a grade of D-.
I have put the reproducible source code on GitHub so you can see the data file and code.
[CBrauer/Poor-Performance-of-ModelBuilder (github.com)](https://github.com/CBrauer/Poor-Performance-of-ModelBuilder)
Charles Brauer

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginnen Sie mit dem im Issue verlinkten reproduzierbaren Quellcode und dem generierten TimeSeriesCatalog.ForecastBySsa-Aufruf und vergleichen Sie anschließend die dokumentierten Parameter seriesLength und windowSize mit der 144-zeiligen CSV-Eingabe. Es ist keine Repository-Datei oder kein Test angegeben; als abgeschlossen gilt die Bestimmung, ob die generierten Einstellungen oder die SSA-Vorhersagen fehlerhaft sind, sowie die Dokumentation oder Korrektur des demonstrierten Verhaltens.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
machine-learning
Bereich
machine-learning
Issue-Typ
Bug
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
20/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.