apache / apache/cloudstack

Scrape duration using prometheus is increasing continuously until restart

Đang mở
#13,586 2 bình luận 0 reaction 0 người được giao Được @DaanHoogland nhận Xem trên GitHub
component:prometheus
Ngôn ngữ chính
Java
Star
3.1k
Fork
1.4k
Merge trung bình
6 ngày 19 giờ
Pull request đã merge (30 ngày)
32

Mô tả

### problem

We are using Prometheus to scrape metrics from the management server.
We see a issue that the scrape_duration_seconds metric for the cloudstack job is increasing in slow pace and after ~7-10 days the scrape duration is longer then the configured interval and we get no more metrics.
First time we saw this just doing a time curl towards the mangement server it took 40-50s for metrics to come back.

Image

### versions

CloudStack 4.22.0.0

### The steps to reproduce the bug

1. Start scraping
2. See the scrape_duration_seconds{job="cloudstack"} increasing daily.

### What to do about it?

1. Restart the management server solves the issue, temporarily

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu tại endpoint metrics Prometheus của máy chủ quản lý CloudStack và tái hiện sự cố bằng cách scrape endpoint này trong vài ngày, đồng thời theo dõi scrape_duration_seconds{job="cloudstack"}. So sánh thời gian phản hồi của endpoint với khoảng thời gian scrape đã cấu hình; hoàn tất khi thời lượng scrape không còn tăng liên tục và các metrics vẫn khả dụng mà không cần khởi động lại máy chủ quản lý.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java, prometheus
Lĩnh vực
backend, observability
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.