[feature] Offload KV cache from GPU (VRAM) to RAM
Ouverte
- Langage dominant
- C
- Étoiles
- 22.3k
- Forks
- 2.1k
- Merge moyen
- 1 j 3 h
- PR mergées (30 j)
- 4
Description
Running on RTX 6000 (96GB), 92GB are consumed with model loaded and 1 user (max 100K ctx). Remaining 4GB would fill up quickly with multiple users (not concurrent).
Guide de contribution
Ouvrir le guide de contribution
Évaluation
Cette issue n'a pas encore été évaluée.