NVIDIA / NVIDIA/Personal-AI-Router
[Feature]: Persist per-model LM Studio load configuration when PAIR manages llmster
Personne n'a encore pris cette issue.
- Langage dominant
- Go
- Étoiles
- 1.4k
- Forks
- 250
- Merge moyen
- 23 h 27 min
- PR mergées (30 j)
- 1
Description
Feature request
Please support persistent, per-node/per-model LM Studio load options when PAIR manages llmster.
Current behavior
The current LM Studio engine manifest loads a model with only:
lms load <model>
PAIR's UI supports downloading, loading, ejecting, and deleting models, but does not expose or persist important LM Studio load parameters.
Use case
Our existing GPU workstation requires deterministic settings such as:
lms load qwen/qwen3.6-35b-a3b --gpu max --context-length 200000 --parallel 2 --identifier qwen/qwen3.6-35b-a3b
These settings affect VRAM use, concurrency, context capacity, performance, and the stable model identifier used by existing applications. Falling back to LM Studio defaults after a PAIR or engine restart is not equivalent behavior.
Requested behavior
- Allow load options to be configured per model and per node.
- Persist those options across PAIR restarts, engine restarts, unload/reload operations, and machine reboots.
- Apply the saved configuration when PAIR automatically loads or restores a model.
- Display the effective load configuration and document which LM Studio options PAIR supports or intentionally ignores.
At minimum, support GPU offload, context length, parallelism, and a stable identifier. A generic advanced-arguments/configuration mechanism would also cover future lms load options.
Guide de contribution
Ouvrir le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Piste de recherche
Commencez par le manifeste actuel du moteur LM Studio et son point d’entrée lms load <model>. Suivez la manière dont PAIR gère le téléchargement, le chargement, l’éjection, la suppression et la restauration automatique des modèles, puis déterminez où les paramètres par nœud et par modèle peuvent persister. Le travail est considéré comme terminé lorsque les options de chargement prises en charge persistent dans les scénarios de redémarrage et de reboot listés, sont affichées efficacement et sont documentées.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- go
- Domaine
- backend
- Type d'issue
- Fonctionnalité
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- Active
- Clarté
- Plutôt claire
- Accessibilité débutants
- 45/100