apache / apache/cloudstack

Scrape duration using prometheus is increasing continuously until restart

Abierto
#13,586 2 comentarios 0 reacciones 0 asignados Reclamado por @DaanHoogland Ver en GitHub
component:prometheus
Lenguaje dominante
Java
Estrellas
3.1k
Forks
1.4k
Merge medio
6 d 19 h
PR fusionados (30 d)
32

Descripción

### problem

We are using Prometheus to scrape metrics from the management server.
We see a issue that the scrape_duration_seconds metric for the cloudstack job is increasing in slow pace and after ~7-10 days the scrape duration is longer then the configured interval and we get no more metrics.
First time we saw this just doing a time curl towards the mangement server it took 40-50s for metrics to come back.

Image

### versions

CloudStack 4.22.0.0

### The steps to reproduce the bug

1. Start scraping
2. See the scrape_duration_seconds{job="cloudstack"} increasing daily.

### What to do about it?

1. Restart the management server solves the issue, temporarily

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza en el endpoint de métricas de Prometheus del servidor de gestión de CloudStack y reproduce el problema consultándolo durante varios días mientras observas scrape_duration_seconds{job="cloudstack"}. Compara el tiempo de respuesta del endpoint con el intervalo de scraping configurado; se considera terminado cuando la duración del scraping deja de aumentar continuamente y las métricas siguen disponibles sin reiniciar el servidor de gestión.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
java, prometheus
Área
backend, observability
Tipo de issue
Error
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
25/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.