Scrape duration using prometheus is increasing continuously until restart
- 主要言語
- Java
- スター
- 3.1k
- フォーク
- 1.4k
- 平均マージ
- 6日 19時間
- マージ済み PR(30日)
- 32
説明
### problem
We are using Prometheus to scrape metrics from the management server.
We see a issue that the scrape_duration_seconds metric for the cloudstack job is increasing in slow pace and after ~7-10 days the scrape duration is longer then the configured interval and we get no more metrics.
First time we saw this just doing a time curl towards the mangement server it took 40-50s for metrics to come back.
### versions
CloudStack 4.22.0.0
### The steps to reproduce the bug
1. Start scraping
2. See the scrape_duration_seconds{job="cloudstack"} increasing daily.
### What to do about it?
1. Restart the management server solves the issue, temporarily
コントリビューションガイド
調査の方向性
CloudStack 管理サーバーの Prometheus メトリクスエンドポイントから開始し、scrape_duration_seconds{job="cloudstack"} を監視しながら数日間スクレイピングして問題を再現します。エンドポイントの応答時間を設定されたスクレイプ間隔と比較します。スクレイプ時間が継続的に増加しなくなり、管理サーバーを再起動せずにメトリクスを利用できる状態になれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java, prometheus
- 領域
- backend, observability
- issue の種類
- バグ
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 25/100