[ML] Improve the usability of `skip_model_update` rules
- Lingua principale
- C++
- Stelle
- 157
- Fork
- 67
- Merge medio
- 17h 52m
- PR unite (30g)
- 20
Descrizione
`skip_model_update` is potentially a powerful technique for excluding updates to the model by known bad events, but it has some usability issues:
1. If you apply it from the start of the modelling it can stop the model learning anything at all.
2. It can stop the model ever adapting to some change in data characteristics.
3. It doesn't stop score quantiles being updated. This means anomaly severities from excluded values can diminish over time. However, if you are told something should be excluded because it is a known bad event you shouldn't decrease its severity based on frequency.
4. You can only apply it based on absolute thresholds, such as the magnitude of the difference from prediction. A more natural approach would be to apply it based on the anomaly score or some related measure.
Note that 4 mitigates problem 1 to some extent; we could also have a fade in. Problem 2 could be addressed if we made the model mainly (but not completely) ignore the skipped data. This would probably give an all round nicer experience.
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
L'issue non indica file di implementazione, test o un punto di ingresso. Inizia individuando la gestione della regola `skip_model_update` e i percorsi di aggiornamento del modello e dei quantili dei punteggi, quindi chiarisci quale modifica all'usabilità è prevista. I criteri di completamento richiedono un design concordato che copra i quattro aspetti elencati e i test corrispondenti.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- cpp
- Ambito
- machine-learning
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100