[ML] Provide the user some feedback of the expected quality of anomaly detection
- Lingua principale
- C++
- Stelle
- 157
- Fork
- 67
- Merge medio
- 17h 52m
- PR unite (30g)
- 20
Descrizione
A valid customer question, which we've had multiple times, is whether anomaly detection results are likely to be reliable at the moment.
Internally, we have goodness of fit measures of the predicted distributions w.r.t the actual values and estimates for whether the prediction errors are stationary. Both of these could be rolled into an estimate of how accurate the model is likely to be for anomaly detection?
Following on from the work to output annotations when significant model changes occur, #1247, we could create a new annotation which captures when the model starts performing significantly better or worse.
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Esamina le misure esistenti della bontà dell’adattamento, le stime della stazionarietà dell’errore di predizione e il lavoro di annotazione nell’issue #1247. Chiarisci come questi segnali debbano produrre una stima attesa della qualità del rilevamento delle anomalie e quando debba essere annotato un miglioramento o un peggioramento significativo; l’issue è completata quando tale comportamento e la relativa validazione sono specificati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- cpp
- Ambito
- machine-learning
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100