NVIDIA / NVIDIA/Personal-AI-Router

[Feature]: The return needs to include the node that was used to complete the request in order for it to be logged.

Offen
#42 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

enhancement
Vorherrschende Sprache
Go
Sterne
1.4k
Forks
250
Ø Merge
23 Std. 27 Min.
Gemergte PRs (30 T.)
1

Beschreibung

Area

Desktop experience

User problem

In most cases you will want to log the [Prompt Tokens], [Completion Tokens], [Total Tokens],[Tokens per Second], [SystemPrompt], [UserPrompt],[Response],[Endpoint].

Desired outcome

In most cases you will want to log the [Prompt Tokens], [Completion Tokens], [Total Tokens],[Tokens per Second], [SystemPrompt], [UserPrompt],[Response],[Endpoint].

Alternatives considered

A method to tie Nvidia Pair to log all calls including which node was used for Prompt logging.

Compatibility and security implications

No response

Validation approach

No response

Confirmations
  • I searched existing issues for duplicates.
  • I agree to follow the Code of Conduct.

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Es wird keine Datei, kein Test und kein Einstiegspunkt genannt. Beginne damit, nachzuverfolgen, wie Anfragen abgeschlossen werden und wie der ausgewählte Knoten im Rückgabewert dargestellt wird; kläre mit den Maintainer:innen die erwartete Form der Antwort und den Pfad der Protokollierung. Erledigt ist die Aufgabe, wenn der für eine Anfrage verwendete Knoten den Aufrufern zur Protokollierung zur Verfügung steht, ohne bestehende Konsumenten zu beeinträchtigen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
go
Bereich
desktop
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Aktiv
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.