NVIDIA / NVIDIA/Personal-AI-Router
[Feature]: Persist per-model LM Studio load configuration when PAIR manages llmster
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- Go
- Estrellas
- 1.4k
- Forks
- 250
- Merge medio
- 23 h 27 min
- PR fusionados (30 d)
- 1
Descripción
Feature request
Please support persistent, per-node/per-model LM Studio load options when PAIR manages llmster.
Current behavior
The current LM Studio engine manifest loads a model with only:
lms load <model>
PAIR's UI supports downloading, loading, ejecting, and deleting models, but does not expose or persist important LM Studio load parameters.
Use case
Our existing GPU workstation requires deterministic settings such as:
lms load qwen/qwen3.6-35b-a3b --gpu max --context-length 200000 --parallel 2 --identifier qwen/qwen3.6-35b-a3b
These settings affect VRAM use, concurrency, context capacity, performance, and the stable model identifier used by existing applications. Falling back to LM Studio defaults after a PAIR or engine restart is not equivalent behavior.
Requested behavior
- Allow load options to be configured per model and per node.
- Persist those options across PAIR restarts, engine restarts, unload/reload operations, and machine reboots.
- Apply the saved configuration when PAIR automatically loads or restores a model.
- Display the effective load configuration and document which LM Studio options PAIR supports or intentionally ignores.
At minimum, support GPU offload, context length, parallelism, and a stable identifier. A generic advanced-arguments/configuration mechanism would also cover future lms load options.
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
Comienza con el manifiesto actual del motor de LM Studio y su punto de entrada lms load <model>. Traza cómo PAIR gestiona la descarga, la carga, la expulsión, la eliminación y la restauración automática de modelos; después, determina dónde pueden persistir las configuraciones por nodo y por modelo. Se considera completado cuando las opciones de carga compatibles sobreviven a los escenarios de reinicio y reboot enumerados, se muestran eficazmente y están documentadas.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- go
- Área
- backend
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Activo
- Claridad
- Bastante claro
- Aptitud para principiantes
- 45/100