elastic / elastic/ml-cpp

[ML] Improve the usability of `skip_model_update` rules

Aperta
#1,272 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
:ml >enhancement
Lingua principale
C++
Stelle
157
Fork
67
Merge medio
17h 52m
PR unite (30g)
20

Descrizione

`skip_model_update` is potentially a powerful technique for excluding updates to the model by known bad events, but it has some usability issues:
1. If you apply it from the start of the modelling it can stop the model learning anything at all.
2. It can stop the model ever adapting to some change in data characteristics.
3. It doesn't stop score quantiles being updated. This means anomaly severities from excluded values can diminish over time. However, if you are told something should be excluded because it is a known bad event you shouldn't decrease its severity based on frequency.
4. You can only apply it based on absolute thresholds, such as the magnitude of the difference from prediction. A more natural approach would be to apply it based on the anomaly score or some related measure.

Note that 4 mitigates problem 1 to some extent; we could also have a fade in. Problem 2 could be addressed if we made the model mainly (but not completely) ignore the skipped data. This would probably give an all round nicer experience.

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

L'issue non indica file di implementazione, test o un punto di ingresso. Inizia individuando la gestione della regola `skip_model_update` e i percorsi di aggiornamento del modello e dei quantili dei punteggi, quindi chiarisci quale modifica all'usabilità è prevista. I criteri di completamento richiedono un design concordato che copra i quattro aspetti elencati e i test corrispondenti.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
cpp
Ambito
machine-learning
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.