apache / apache/cloudstack

Scrape duration using prometheus is increasing continuously until restart

オープン
#13,586 コメント 2 件 リアクション 0 件 担当者 0 名 @DaanHoogland が担当を希望しています GitHub で見る
component:prometheus
主要言語
Java
スター
3.1k
フォーク
1.4k
平均マージ
6日 19時間
マージ済み PR(30日)
32

説明

### problem

We are using Prometheus to scrape metrics from the management server.
We see a issue that the scrape_duration_seconds metric for the cloudstack job is increasing in slow pace and after ~7-10 days the scrape duration is longer then the configured interval and we get no more metrics.
First time we saw this just doing a time curl towards the mangement server it took 40-50s for metrics to come back.

Image

### versions

CloudStack 4.22.0.0

### The steps to reproduce the bug

1. Start scraping
2. See the scrape_duration_seconds{job="cloudstack"} increasing daily.

### What to do about it?

1. Restart the management server solves the issue, temporarily

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

CloudStack 管理サーバーの Prometheus メトリクスエンドポイントから開始し、scrape_duration_seconds{job="cloudstack"} を監視しながら数日間スクレイピングして問題を再現します。エンドポイントの応答時間を設定されたスクレイプ間隔と比較します。スクレイプ時間が継続的に増加しなくなり、管理サーバーを再起動せずにメトリクスを利用できる状態になれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java, prometheus
領域
backend, observability
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。