Multi-GPU for nvidia
オープン
cuda
distributed-inference
ideas-to-explore
- 主要言語
- C
- スター
- 22.4k
- フォーク
- 2.1k
- 平均マージ
- 1日 3時間
- マージ済み PR（30日）
- 4
説明
Any interest in implementing multi-gpu CUDA setups? I have a 4x3090 + 128GB RAM I would love to use with these quants, since other quants are currently lacking in accuracy or just straight up don't exist.
コントリビューションガイド
評価
この issue はまだ評価されていません。