dotnet / dotnet/machinelearning-modelbuilder

Poor peerformance of TimeSeriesCatalog.ForecastBySsa Method

オープン
#2,276 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
Stale untriaged
主要言語
Dockerfile
スター
285
フォーク
66
PR マージ指標
30日以内にマージされた PR はありません

説明

**System Information:**
Windows 11
Microsoft Visual Studio Professional 2022 (64-bit) - Current
Version 17.3.5

**Describe the bug**
I am very disappointed in the Time Series Model Builder project. I have the following comments:
1. There are 144 rows in my data file (VERU_9_26_2022_144.csv). The code that was generated by Model Builder set the value of “seriesLength” to 2118. The documentation states that “seriesLength” is “The length of series that is kept in buffer for modeling (parameter N)”. What the hell does that mean? The value of 2118 does not make sense. Please explain.

2. The code that was generated by Model Builder set “windowSize” to 50. I assume that “windowSize” and “seriesLength” ae hyperparameters. Is that true? If so, it would sure be nice if you guys would share that code that generated the values.

3. Model Builder gives the option to plot the error curve. That is necessary, but not sufficient. A plot of the predicted values is what researchers want to see. A table is not good enough. If you plot the predicted values generated by Model Builder you will see how bad the predictions are. Here is the plot of the predictions. The red dots are the predicted values:
![image](https://user-images.githubusercontent.com/1317234/193647990-608a56eb-0470-4a7e-b366-8dcfb28970d3.png)
No cigar!
Either there is a serious bug in Model Builder, or the SsaForecast algorithm is worthless.
I give this project a grade of D-.
I have put the reproducible source code on GitHub so you can see the data file and code.
[CBrauer/Poor-Performance-of-ModelBuilder (github.com)](https://github.com/CBrauer/Poor-Performance-of-ModelBuilder)
Charles Brauer

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

Issue にリンクされている再現可能なソースコードと、生成された TimeSeriesCatalog.ForecastBySsa 呼び出しから始め、文書化されている seriesLength パラメーターおよび windowSize パラメーターを 144 行の CSV 入力と比較します。リポジトリ内のファイルもテストも指定されていません。完了とするには、生成された設定または SSA 予測に問題があるかどうかを判断し、実証された動作を文書化または修正する必要があります。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
machine-learning
領域
machine-learning
issue の種類
バグ
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
20/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。