alibaba / alibaba/GraphScope

Monitoring for GraphScope

Open
#288 15 comments 1 reaction 1 assignee Claimed by @lidongze0629 View on GitHub
component:python summer-of-code user-friendly
Dominant language
C++
Stars
3.6k
Forks
468
Avg merge
29m
Merged PRs (30d)
1

Description

[Prometheus](https://github.com/prometheus) 是 Kubernetes 生态中的一个开源系统监控告警解决方案,在本任务中,你需要结合 Prometheus 为 GraphScope 系统提供一套统一的 UI,来帮助监控、追踪 GraphScope 集群的运行状态,具体包含子任务如下:

**生产监控数据**
- [Python] 在 [GraphScope Coordinator](https://github.com/alibaba/GraphScope/tree/main/coordinator) 中暴露 HTTP 服务,负责生成 [Prometheus 可识别](https://prometheus.io/docs/concepts/data_model/)的日志信息
- [Python] 为 [GraphScope Store](https://github.com/alibaba/GraphScope/tree/main/research/graph_store) 实现一个 [Prometheus Exporter](https://prometheus.io/docs/instrumenting/writing_exporters/),该 Exporter 可以是 Python 脚本,负责解析服务日志并生成 [Prometheus 可识别](https://prometheus.io/docs/concepts/data_model/)的日志信息
- [集成] 对接 [NodeExporter](https://github.com/prometheus/node_exporter) 来监控集群节点状态,如 CPU、内存,磁盘空间等

**监控 UI**
- [配置 Prometheus](https://prometheus.io/docs/prometheus/latest/configuration/configuration/),使用 [Grafana](https://prometheus.io/docs/visualization/grafana/) 可视化展示生成的数据。

此外,你也可以进一步集成 [AlertManager](https://prometheus.io/docs/alerting/latest/alertmanager/) 功能,以完善用户体验。

**GraphScope Coordinator 指标**
- [GraphScope Session](https://graphscope.io/docs/reference/session.html) 状态
- 载图时间
- 图数据大小
- [分析型任务](https://graphscope.io/docs/analytics_engine.html) 完成的数目
- [交互性任务](https://graphscope.io/docs/interactive_engine.html) 完成的数目
- [分析型任务](https://graphscope.io/docs/analytics_engine.html) 每轮迭代的性能时间
- [分析型任务](https://graphscope.io/docs/analytics_engine.html) 每轮迭代消息传递的数量
- [交互型任务](https://graphscope.io/docs/interactive_engine.html) 的查询时间

**GraphScope GIE 服务指标**
- 点/边 标签(label) 数量
- 点/边 数量
- 当前图数据大小
- 服务延迟
- 服务 QPS
- 服务 RT
- 服务吞吐量
- 服务 成功/失败 数量
- 服务失败率

**项目产出物**
1. 一个 Prometheus Exporter,该 Exporter 可以是 Python 脚本,负责解析 GraphScope Store 服务日志并生成 Prometheus 可识别的日志信息
2. 在 GraphScope Coordinator 中暴露 Http 服务,负责生成 Prometheus 可识别的日志信息
3. 结合 Prometheus Grafana 的可视化展示页面

**帮助信息**

1. vineyard 镜像地址: `registry.cn-hongkong.aliyuncs.com/graphscope/graphscope-vineyard:latest`

Contributor guide

Open the contributing guide

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.