Scrape duration using prometheus is increasing continuously until restart
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.4k
- Merge trung bình
- 6 ngày 19 giờ
- Pull request đã merge (30 ngày)
- 32
Mô tả
### problem
We are using Prometheus to scrape metrics from the management server.
We see a issue that the scrape_duration_seconds metric for the cloudstack job is increasing in slow pace and after ~7-10 days the scrape duration is longer then the configured interval and we get no more metrics.
First time we saw this just doing a time curl towards the mangement server it took 40-50s for metrics to come back.
### versions
CloudStack 4.22.0.0
### The steps to reproduce the bug
1. Start scraping
2. See the scrape_duration_seconds{job="cloudstack"} increasing daily.
### What to do about it?
1. Restart the management server solves the issue, temporarily
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu tại endpoint metrics Prometheus của máy chủ quản lý CloudStack và tái hiện sự cố bằng cách scrape endpoint này trong vài ngày, đồng thời theo dõi scrape_duration_seconds{job="cloudstack"}. So sánh thời gian phản hồi của endpoint với khoảng thời gian scrape đã cấu hình; hoàn tất khi thời lượng scrape không còn tăng liên tục và các metrics vẫn khả dụng mà không cần khởi động lại máy chủ quản lý.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java, prometheus
- Lĩnh vực
- backend, observability
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 25/100