AI-Hypercomputer / AI-Hypercomputer/JetStream

Question: `prometheus_port` flag for pytorch server

Aperta
#143 0 commenti 0 reazioni 1 assegnatario Rivendicata da @qihqi Vedi su GitHub
Lingua principale
Python
Stelle
457
Fork
67
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

https://github.com/AI-Hypercomputer/JetStream/blob/main/docs/observability-prometheus-metrics-in-jetstream-server.md only mentions the `prometheus_port` if the jetstream runs with `maxengine_server`.

However, such option doesn't exist under https://github.com/AI-Hypercomputer/jetstream-pytorch. I wonder if `jetstream-pytorch` also expose prometheus metrics related to the inference server?

Guida per i contributori

Apri la guida per i contributori

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.