NVIDIA / NVIDIA/Personal-AI-Router

[Feature]: Persist per-model LM Studio load configuration when PAIR manages llmster

オープン
#29 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

主要言語
Go
スター
1.4k
フォーク
250
平均マージ
23時間 27分
マージ済み PR(30日)
1

説明

Feature request

Please support persistent, per-node/per-model LM Studio load options when PAIR manages llmster.

Current behavior

The current LM Studio engine manifest loads a model with only:

lms load <model>

PAIR's UI supports downloading, loading, ejecting, and deleting models, but does not expose or persist important LM Studio load parameters.

Use case

Our existing GPU workstation requires deterministic settings such as:

lms load qwen/qwen3.6-35b-a3b   --gpu max   --context-length 200000   --parallel 2   --identifier qwen/qwen3.6-35b-a3b

These settings affect VRAM use, concurrency, context capacity, performance, and the stable model identifier used by existing applications. Falling back to LM Studio defaults after a PAIR or engine restart is not equivalent behavior.

Requested behavior
  1. Allow load options to be configured per model and per node.
  2. Persist those options across PAIR restarts, engine restarts, unload/reload operations, and machine reboots.
  3. Apply the saved configuration when PAIR automatically loads or restores a model.
  4. Display the effective load configuration and document which LM Studio options PAIR supports or intentionally ignores.

At minimum, support GPU offload, context length, parallelism, and a stable identifier. A generic advanced-arguments/configuration mechanism would also cover future lms load options.

コントリビューションガイド

コントリビューションガイドを開く

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

調査の方向性

現在の LM Studio エンジンマニフェストと、そのエントリーポイント lms load <model> から始めます。PAIR がモデルのダウンロード、ロード、イジェクト、削除、自動リストアをどのように処理するかを追跡し、その後、ノード単位およびモデル単位の設定をどこに永続化できるかを特定します。完了とは、サポート対象のロードオプションが、記載された再起動および reboot のシナリオ後も保持され、効果的に表示され、文書化されていることを意味します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
go
領域
backend
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
活発
明瞭さ
おおむね明確
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。