elastic / elastic/ml-cpp

Delayed data detected when categorization job is in hard limit

Aperta
#2,704 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
>bug good first issue
Lingua principale
C++
Stelle
157
Fork
67
Merge medio
17h 52m
PR unite (30g)
20

Descrizione

- If an anomaly detection job with a categorizer goes into a hard memory limit it cannot create new categories.
- If the categorizer is configured with `stop_on_warn: true` then the events that would have formed a new category are not passed downstream to be analysed.
- Therefore, the event count in the final bucket result does not include events skipped by the categorizer
- And the Elasticsearch delayed data detector identifies these bucket results as missing data because the bucket event count does not match the number of documents submitted to the process.

In all cases when a job goes into hard limit that should be addressed first. The mismatch in counts is a symptom of the hard limit and will be fixed by giving the job more memory. However, it is confusing that the counts don't match and users may not realise that new categories cannot be created

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia tracciando come il categorizer gestisce un limite di memoria rigido con stop_on_warn abilitato, quindi segui come gli eventi ignorati contribuiscono al conteggio finale degli eventi del bucket e come il delayed data detector confronta i conteggi. Riproduci la discrepanza con un anomaly detection job che raggiunge il proprio limite rigido. Il lavoro è completato quando la discrepanza di conteggio confusa o la relativa spiegazione per l’utente è stata risolta, con una copertura di regressione per questo scenario.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
cpp
Ambito
machine-learning
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.