Delayed data detected when categorization job is in hard limit
- Lingua principale
- C++
- Stelle
- 157
- Fork
- 67
- Merge medio
- 17h 52m
- PR unite (30g)
- 20
Descrizione
- If an anomaly detection job with a categorizer goes into a hard memory limit it cannot create new categories.
- If the categorizer is configured with `stop_on_warn: true` then the events that would have formed a new category are not passed downstream to be analysed.
- Therefore, the event count in the final bucket result does not include events skipped by the categorizer
- And the Elasticsearch delayed data detector identifies these bucket results as missing data because the bucket event count does not match the number of documents submitted to the process.
In all cases when a job goes into hard limit that should be addressed first. The mismatch in counts is a symptom of the hard limit and will be fixed by giving the job more memory. However, it is confusing that the counts don't match and users may not realise that new categories cannot be created
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia tracciando come il categorizer gestisce un limite di memoria rigido con stop_on_warn abilitato, quindi segui come gli eventi ignorati contribuiscono al conteggio finale degli eventi del bucket e come il delayed data detector confronta i conteggi. Riproduci la discrepanza con un anomaly detection job che raggiunge il proprio limite rigido. Il lavoro è completato quando la discrepanza di conteggio confusa o la relativa spiegazione per l’utente è stata risolta, con una copertura di regressione per questo scenario.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- cpp
- Ambito
- machine-learning
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100