AI-Hypercomputer / AI-Hypercomputer/JetStream

Question: `prometheus_port` flag for pytorch server

Aberta
#143 0 comentários 0 reações 1 responsável Reivindicada por @qihqi Ver no GitHub
Linguagem predominante
Python
Estrelas
457
Forks
67
Métricas de merge de PRs
Nenhum PR com merge em 30d

Descrição

https://github.com/AI-Hypercomputer/JetStream/blob/main/docs/observability-prometheus-metrics-in-jetstream-server.md only mentions the `prometheus_port` if the jetstream runs with `maxengine_server`.

However, such option doesn't exist under https://github.com/AI-Hypercomputer/jetstream-pytorch. I wonder if `jetstream-pytorch` also expose prometheus metrics related to the inference server?

Guia de contribuição

Abrir o guia de contribuição

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.