Monitoring for GraphScope
- Dominant language
- C++
- Stars
- 3.6k
- Forks
- 468
- Avg merge
- 29m
- Merged PRs (30d)
- 1
Description
[Prometheus](https://github.com/prometheus) 是 Kubernetes 生态中的一个开源系统监控告警解决方案,在本任务中,你需要结合 Prometheus 为 GraphScope 系统提供一套统一的 UI,来帮助监控、追踪 GraphScope 集群的运行状态,具体包含子任务如下:
**生产监控数据**
- [Python] 在 [GraphScope Coordinator](https://github.com/alibaba/GraphScope/tree/main/coordinator) 中暴露 HTTP 服务,负责生成 [Prometheus 可识别](https://prometheus.io/docs/concepts/data_model/)的日志信息
- [Python] 为 [GraphScope Store](https://github.com/alibaba/GraphScope/tree/main/research/graph_store) 实现一个 [Prometheus Exporter](https://prometheus.io/docs/instrumenting/writing_exporters/),该 Exporter 可以是 Python 脚本,负责解析服务日志并生成 [Prometheus 可识别](https://prometheus.io/docs/concepts/data_model/)的日志信息
- [集成] 对接 [NodeExporter](https://github.com/prometheus/node_exporter) 来监控集群节点状态,如 CPU、内存,磁盘空间等
**监控 UI**
- [配置 Prometheus](https://prometheus.io/docs/prometheus/latest/configuration/configuration/),使用 [Grafana](https://prometheus.io/docs/visualization/grafana/) 可视化展示生成的数据。
此外,你也可以进一步集成 [AlertManager](https://prometheus.io/docs/alerting/latest/alertmanager/) 功能,以完善用户体验。
**GraphScope Coordinator 指标**
- [GraphScope Session](https://graphscope.io/docs/reference/session.html) 状态
- 载图时间
- 图数据大小
- [分析型任务](https://graphscope.io/docs/analytics_engine.html) 完成的数目
- [交互性任务](https://graphscope.io/docs/interactive_engine.html) 完成的数目
- [分析型任务](https://graphscope.io/docs/analytics_engine.html) 每轮迭代的性能时间
- [分析型任务](https://graphscope.io/docs/analytics_engine.html) 每轮迭代消息传递的数量
- [交互型任务](https://graphscope.io/docs/interactive_engine.html) 的查询时间
**GraphScope GIE 服务指标**
- 点/边 标签(label) 数量
- 点/边 数量
- 当前图数据大小
- 服务延迟
- 服务 QPS
- 服务 RT
- 服务吞吐量
- 服务 成功/失败 数量
- 服务失败率
**项目产出物**
1. 一个 Prometheus Exporter,该 Exporter 可以是 Python 脚本,负责解析 GraphScope Store 服务日志并生成 Prometheus 可识别的日志信息
2. 在 GraphScope Coordinator 中暴露 Http 服务,负责生成 Prometheus 可识别的日志信息
3. 结合 Prometheus Grafana 的可视化展示页面
**帮助信息**
1. vineyard 镜像地址: `registry.cn-hongkong.aliyuncs.com/graphscope/graphscope-vineyard:latest`
Contributor guide
Assessment
This issue has not been assessed yet.