elastic / elastic/ml-cpp

[ML] Provide the user some feedback of the expected quality of anomaly detection

Offen
#1,291 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
:ml >enhancement
Vorherrschende Sprache
C++
Sterne
157
Forks
67
Ø Merge
17 Std. 52 Min.
Gemergte PRs (30 T.)
20

Beschreibung

A valid customer question, which we've had multiple times, is whether anomaly detection results are likely to be reliable at the moment.

Internally, we have goodness of fit measures of the predicted distributions w.r.t the actual values and estimates for whether the prediction errors are stationary. Both of these could be rolled into an estimate of how accurate the model is likely to be for anomaly detection?

Following on from the work to output annotations when significant model changes occur, #1247, we could create a new annotation which captures when the model starts performing significantly better or worse.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Überprüfe die vorhandenen Goodness-of-Fit-Maße, Schätzungen der Stationarität von Vorhersagefehlern und die Annotierungsarbeit in Issue #1247. Kläre, wie diese Signale eine erwartete Schätzung der Qualität der Anomalieerkennung liefern sollen und wann eine signifikante Verbesserung oder Verschlechterung annotiert werden sollte; das Issue ist abgeschlossen, wenn dieses Verhalten und seine Validierung spezifiziert sind.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
cpp
Bereich
machine-learning
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.