elastic / elastic/ml-cpp

Delayed data detected when categorization job is in hard limit

Offen
#2,704 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
>bug good first issue
Vorherrschende Sprache
C++
Sterne
157
Forks
67
Ø Merge
17 Std. 52 Min.
Gemergte PRs (30 T.)
20

Beschreibung

- If an anomaly detection job with a categorizer goes into a hard memory limit it cannot create new categories.
- If the categorizer is configured with `stop_on_warn: true` then the events that would have formed a new category are not passed downstream to be analysed.
- Therefore, the event count in the final bucket result does not include events skipped by the categorizer
- And the Elasticsearch delayed data detector identifies these bucket results as missing data because the bucket event count does not match the number of documents submitted to the process.

In all cases when a job goes into hard limit that should be addressed first. The mismatch in counts is a symptom of the hard limit and will be fixed by giving the job more memory. However, it is confusing that the counts don't match and users may not realise that new categories cannot be created

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne damit nachzuverfolgen, wie der categorizer ein hartes Speicherlimit mit aktiviertem stop_on_warn behandelt, und verfolge dann, wie übersprungene Ereignisse zum endgültigen bucket event count beitragen und wie der delayed data detector die Counts vergleicht. Reproduziere die Abweichung mit einem anomaly detection job, der sein hartes Limit erreicht. Als erledigt gilt die Aufgabe, wenn die verwirrende Count-Abweichung oder ihre benutzerseitige Erklärung behoben ist und eine Regression-Abdeckung für dieses Szenario vorhanden ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
cpp
Bereich
machine-learning
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.