NVIDIA / NVIDIA/Personal-AI-Router
[Feature]: Persist per-model LM Studio load configuration when PAIR manages llmster
Nessuno ha ancora preso questa issue.
- Lingua principale
- Go
- Stelle
- 1.4k
- Fork
- 250
- Merge medio
- 23h 27m
- PR unite (30g)
- 1
Descrizione
Feature request
Please support persistent, per-node/per-model LM Studio load options when PAIR manages llmster.
Current behavior
The current LM Studio engine manifest loads a model with only:
lms load <model>
PAIR's UI supports downloading, loading, ejecting, and deleting models, but does not expose or persist important LM Studio load parameters.
Use case
Our existing GPU workstation requires deterministic settings such as:
lms load qwen/qwen3.6-35b-a3b --gpu max --context-length 200000 --parallel 2 --identifier qwen/qwen3.6-35b-a3b
These settings affect VRAM use, concurrency, context capacity, performance, and the stable model identifier used by existing applications. Falling back to LM Studio defaults after a PAIR or engine restart is not equivalent behavior.
Requested behavior
- Allow load options to be configured per model and per node.
- Persist those options across PAIR restarts, engine restarts, unload/reload operations, and machine reboots.
- Apply the saved configuration when PAIR automatically loads or restores a model.
- Display the effective load configuration and document which LM Studio options PAIR supports or intentionally ignores.
At minimum, support GPU offload, context length, parallelism, and a stable identifier. A generic advanced-arguments/configuration mechanism would also cover future lms load options.
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Inizia con il manifest attuale del motore LM Studio e il relativo punto di ingresso lms load <model>. Traccia il modo in cui PAIR gestisce il download, il caricamento, l’espulsione, l’eliminazione e il ripristino automatico dei modelli, quindi determina dove possono persistere le impostazioni per nodo e per modello. Il lavoro è completato quando le opzioni di caricamento supportate sopravvivono agli scenari di riavvio e reboot elencati, vengono visualizzate efficacemente e sono documentate.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- go
- Ambito
- backend
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Attiva
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 45/100