Scrape duration using prometheus is increasing continuously until restart
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.4k
- Merge medio
- 6 d 19 h
- PR fusionados (30 d)
- 32
Descripción
### problem
We are using Prometheus to scrape metrics from the management server.
We see a issue that the scrape_duration_seconds metric for the cloudstack job is increasing in slow pace and after ~7-10 days the scrape duration is longer then the configured interval and we get no more metrics.
First time we saw this just doing a time curl towards the mangement server it took 40-50s for metrics to come back.
### versions
CloudStack 4.22.0.0
### The steps to reproduce the bug
1. Start scraping
2. See the scrape_duration_seconds{job="cloudstack"} increasing daily.
### What to do about it?
1. Restart the management server solves the issue, temporarily
Guía de contribución
Línea de trabajo
Comienza en el endpoint de métricas de Prometheus del servidor de gestión de CloudStack y reproduce el problema consultándolo durante varios días mientras observas scrape_duration_seconds{job="cloudstack"}. Compara el tiempo de respuesta del endpoint con el intervalo de scraping configurado; se considera terminado cuando la duración del scraping deja de aumentar continuamente y las métricas siguen disponibles sin reiniciar el servidor de gestión.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java, prometheus
- Área
- backend, observability
- Tipo de issue
- Error
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 25/100