[ML] Provide the user some feedback of the expected quality of anomaly detection
- Vorherrschende Sprache
- C++
- Sterne
- 157
- Forks
- 67
- Ø Merge
- 17 Std. 52 Min.
- Gemergte PRs (30 T.)
- 20
Beschreibung
A valid customer question, which we've had multiple times, is whether anomaly detection results are likely to be reliable at the moment.
Internally, we have goodness of fit measures of the predicted distributions w.r.t the actual values and estimates for whether the prediction errors are stationary. Both of these could be rolled into an estimate of how accurate the model is likely to be for anomaly detection?
Following on from the work to output annotations when significant model changes occur, #1247, we could create a new annotation which captures when the model starts performing significantly better or worse.
Beitragsleitfaden
Rechercherichtung
Überprüfe die vorhandenen Goodness-of-Fit-Maße, Schätzungen der Stationarität von Vorhersagefehlern und die Annotierungsarbeit in Issue #1247. Kläre, wie diese Signale eine erwartete Schätzung der Qualität der Anomalieerkennung liefern sollen und wann eine signifikante Verbesserung oder Verschlechterung annotiert werden sollte; das Issue ist abgeschlossen, wenn dieses Verhalten und seine Validierung spezifiziert sind.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- cpp
- Bereich
- machine-learning
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100