NVIDIA / NVIDIA/Personal-AI-Router
[Feature]: Persist per-model LM Studio load configuration when PAIR manages llmster
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Go
- Sterne
- 1.4k
- Forks
- 250
- Ø Merge
- 23 Std. 27 Min.
- Gemergte PRs (30 T.)
- 1
Beschreibung
Feature request
Please support persistent, per-node/per-model LM Studio load options when PAIR manages llmster.
Current behavior
The current LM Studio engine manifest loads a model with only:
lms load <model>
PAIR's UI supports downloading, loading, ejecting, and deleting models, but does not expose or persist important LM Studio load parameters.
Use case
Our existing GPU workstation requires deterministic settings such as:
lms load qwen/qwen3.6-35b-a3b --gpu max --context-length 200000 --parallel 2 --identifier qwen/qwen3.6-35b-a3b
These settings affect VRAM use, concurrency, context capacity, performance, and the stable model identifier used by existing applications. Falling back to LM Studio defaults after a PAIR or engine restart is not equivalent behavior.
Requested behavior
- Allow load options to be configured per model and per node.
- Persist those options across PAIR restarts, engine restarts, unload/reload operations, and machine reboots.
- Apply the saved configuration when PAIR automatically loads or restores a model.
- Display the effective load configuration and document which LM Studio options PAIR supports or intentionally ignores.
At minimum, support GPU offload, context length, parallelism, and a stable identifier. A generic advanced-arguments/configuration mechanism would also cover future lms load options.
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne mit dem aktuellen LM Studio-Engine-Manifest und seinem Einstiegspunkt lms load <model>. Verfolge, wie PAIR den Download, das Laden, das Auswerfen, das Löschen und die automatische Wiederherstellung von Modellen handhabt, und ermittle dann, wo Einstellungen pro Node und pro Modell dauerhaft gespeichert werden können. Als abgeschlossen gilt die Aufgabe, wenn unterstützte Ladeoptionen die aufgeführten Neustart- und Reboot-Szenarien überstehen, effektiv angezeigt werden und dokumentiert sind.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- go
- Bereich
- backend
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Aktiv
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 45/100