apache / apache/cloudstack

Scrape duration using prometheus is increasing continuously until restart

Offen
#13,586 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Beansprucht von @DaanHoogland Auf GitHub ansehen
component:prometheus
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.4k
Ø Merge
6 T. 19 Std.
Gemergte PRs (30 T.)
32

Beschreibung

### problem

We are using Prometheus to scrape metrics from the management server.
We see a issue that the scrape_duration_seconds metric for the cloudstack job is increasing in slow pace and after ~7-10 days the scrape duration is longer then the configured interval and we get no more metrics.
First time we saw this just doing a time curl towards the mangement server it took 40-50s for metrics to come back.

Image

### versions

CloudStack 4.22.0.0

### The steps to reproduce the bug

1. Start scraping
2. See the scrape_duration_seconds{job="cloudstack"} increasing daily.

### What to do about it?

1. Restart the management server solves the issue, temporarily

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne am Prometheus-Metrik-Endpunkt des CloudStack-Management-Servers und reproduziere das Problem, indem du ihn über mehrere Tage hinweg abfragst und dabei scrape_duration_seconds{job="cloudstack"} beobachtest. Vergleiche die Antwortzeit des Endpunkts mit dem konfigurierten Abrufintervall; abgeschlossen ist die Aufgabe, wenn die Abrufdauer nicht mehr kontinuierlich zunimmt und die Metriken verfügbar bleiben, ohne den Management-Server neu zu starten.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java, prometheus
Bereich
backend, observability
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.