AI-Hypercomputer / AI-Hypercomputer/JetStream

Question: `prometheus_port` flag for pytorch server

Offen
#143 0 Kommentare 0 Reaktionen 1 zugewiesene Person Beansprucht von @qihqi Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
457
Forks
67
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

https://github.com/AI-Hypercomputer/JetStream/blob/main/docs/observability-prometheus-metrics-in-jetstream-server.md only mentions the `prometheus_port` if the jetstream runs with `maxengine_server`.

However, such option doesn't exist under https://github.com/AI-Hypercomputer/jetstream-pytorch. I wonder if `jetstream-pytorch` also expose prometheus metrics related to the inference server?

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.