NVIDIA / NVIDIA/Personal-AI-Router

[Feature]: Persist per-model LM Studio load configuration when PAIR manages llmster

Ouverte
#29 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Langage dominant
Go
Étoiles
1.4k
Forks
250
Merge moyen
23 h 27 min
PR mergées (30 j)
1

Description

Feature request

Please support persistent, per-node/per-model LM Studio load options when PAIR manages llmster.

Current behavior

The current LM Studio engine manifest loads a model with only:

lms load <model>

PAIR's UI supports downloading, loading, ejecting, and deleting models, but does not expose or persist important LM Studio load parameters.

Use case

Our existing GPU workstation requires deterministic settings such as:

lms load qwen/qwen3.6-35b-a3b   --gpu max   --context-length 200000   --parallel 2   --identifier qwen/qwen3.6-35b-a3b

These settings affect VRAM use, concurrency, context capacity, performance, and the stable model identifier used by existing applications. Falling back to LM Studio defaults after a PAIR or engine restart is not equivalent behavior.

Requested behavior
  1. Allow load options to be configured per model and per node.
  2. Persist those options across PAIR restarts, engine restarts, unload/reload operations, and machine reboots.
  3. Apply the saved configuration when PAIR automatically loads or restores a model.
  4. Display the effective load configuration and document which LM Studio options PAIR supports or intentionally ignores.

At minimum, support GPU offload, context length, parallelism, and a stable identifier. A generic advanced-arguments/configuration mechanism would also cover future lms load options.

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Commencez par le manifeste actuel du moteur LM Studio et son point d’entrée lms load <model>. Suivez la manière dont PAIR gère le téléchargement, le chargement, l’éjection, la suppression et la restauration automatique des modèles, puis déterminez où les paramètres par nœud et par modèle peuvent persister. Le travail est considéré comme terminé lorsque les options de chargement prises en charge persistent dans les scénarios de redémarrage et de reboot listés, sont affichées efficacement et sont documentées.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
go
Domaine
backend
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
Active
Clarté
Plutôt claire
Accessibilité débutants
45/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.