AlexsJones / AlexsJones/llmfit

[Feature]: mutiple GPU = total VRAM

オープン
#1,018 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
enhancement
主要言語
Rust
スター
36.5k
フォーク
2.3k
平均マージ
3日 1時間
マージ済み PR(30日)
95

説明

### Problem or motivation

Hi,

I have 2 GPUs, 5090 and 5080, and I run inferences with the total VRAM. I see who is not counted and does not limit itself to a single GPU.

### Proposed solution

Calculate the total VRAM + propose the llms that are capable of being played

### Alternatives considered

_No response_

### Feature area

Hardware detection (new GPU vendor, new hardware type)

### Would you be willing to contribute this?

No, just suggesting

### Additional context

_No response_

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

Start at the hardware-detection entry point and trace how VRAM is currently counted and how model recommendations are produced. Define done as aggregating VRAM from multiple GPUs and limiting recommendations to models that fit the aggregate; add coverage for a two-GPU setup such as a 5090 and 5080 if the project’s existing test structure supports it.

索引モデルが issue の本文から書いたものです。

評価

技術スタック
rust
領域
ai, cli
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
活発
明瞭さ
おおむね明確
初心者へのやさしさ
48/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。