[feature] Offload KV cache from GPU (VRAM) to RAM
オープン
- 主要言語
- C
- スター
- 22.3k
- フォーク
- 2.1k
- 平均マージ
- 1日 3時間
- マージ済み PR（30日）
- 4
説明
Running on RTX 6000 (96GB), 92GB are consumed with model loaded and 1 user (max 100K ctx). Remaining 4GB would fill up quickly with multiple users (not concurrent).
コントリビューションガイド
評価
この issue はまだ評価されていません。