AI-Hypercomputer / AI-Hypercomputer/JetStream

Question: `prometheus_port` flag for pytorch server

未关闭
#143 0 条评论 0 个 reaction 已指派 1 人 已被 @qihqi 认领 在 GitHub 查看
主要语言
Python
星标
457
派生
67
PR 合并指标
30 天内没有已合并 PR

描述

https://github.com/AI-Hypercomputer/JetStream/blob/main/docs/observability-prometheus-metrics-in-jetstream-server.md only mentions the `prometheus_port` if the jetstream runs with `maxengine_server`.

However, such option doesn't exist under https://github.com/AI-Hypercomputer/jetstream-pytorch. I wonder if `jetstream-pytorch` also expose prometheus metrics related to the inference server?

贡献指南

打开贡献指南

评估

这个 Issue 还没有评估数据。

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。