NVIDIA / NVIDIA/Personal-AI-Router
[Feature]: The return needs to include the node that was used to complete the request in order for it to be logged.
Personne n'a encore pris cette issue.
- Langage dominant
- Go
- Étoiles
- 1.4k
- Forks
- 250
- Merge moyen
- 23 h 27 min
- PR mergées (30 j)
- 1
Description
Area
Desktop experience
User problem
In most cases you will want to log the [Prompt Tokens], [Completion Tokens], [Total Tokens],[Tokens per Second], [SystemPrompt], [UserPrompt],[Response],[Endpoint].
Desired outcome
In most cases you will want to log the [Prompt Tokens], [Completion Tokens], [Total Tokens],[Tokens per Second], [SystemPrompt], [UserPrompt],[Response],[Endpoint].
Alternatives considered
A method to tie Nvidia Pair to log all calls including which node was used for Prompt logging.
Compatibility and security implications
No response
Validation approach
No response
Confirmations
- I searched existing issues for duplicates.
- I agree to follow the Code of Conduct.
Guide de contribution
Ouvrir le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Piste de recherche
Aucun fichier, test ou point d’entrée n’est indiqué. Commencez par suivre la manière dont les requêtes sont finalisées et la manière dont le nœud sélectionné est représenté dans la valeur de retour ; clarifiez avec les maintainers la forme attendue de la réponse et le chemin de logging. La tâche est terminée lorsque le nœud utilisé pour une requête est disponible pour les appelants à des fins de logging sans casser les consommateurs existants.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- go
- Domaine
- desktop
- Type d'issue
- Fonctionnalité
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- Active
- Clarté
- À clarifier
- Accessibilité débutants
- 35/100