Scrape duration using prometheus is increasing continuously until restart
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.4k
- Ø Merge
- 6 T. 19 Std.
- Gemergte PRs (30 T.)
- 32
Beschreibung
### problem
We are using Prometheus to scrape metrics from the management server.
We see a issue that the scrape_duration_seconds metric for the cloudstack job is increasing in slow pace and after ~7-10 days the scrape duration is longer then the configured interval and we get no more metrics.
First time we saw this just doing a time curl towards the mangement server it took 40-50s for metrics to come back.
### versions
CloudStack 4.22.0.0
### The steps to reproduce the bug
1. Start scraping
2. See the scrape_duration_seconds{job="cloudstack"} increasing daily.
### What to do about it?
1. Restart the management server solves the issue, temporarily
Beitragsleitfaden
Rechercherichtung
Beginne am Prometheus-Metrik-Endpunkt des CloudStack-Management-Servers und reproduziere das Problem, indem du ihn über mehrere Tage hinweg abfragst und dabei scrape_duration_seconds{job="cloudstack"} beobachtest. Vergleiche die Antwortzeit des Endpunkts mit dem konfigurierten Abrufintervall; abgeschlossen ist die Aufgabe, wenn die Abrufdauer nicht mehr kontinuierlich zunimmt und die Metriken verfügbar bleiben, ohne den Management-Server neu zu starten.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java, prometheus
- Bereich
- backend, observability
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 25/100