anarchy-ai / anarchy-ai/LLM-VM
Add disk offloading for onsite LLM inference
Ouverte
feat/enhancement
- Langage dominant
- Python
- Étoiles
- 490
- Forks
- 139
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Description
Enable large models that can't fit on the GPU to run inference by passing params back and forth between RAM and GPU-RAM
Guide de contribution
Ouvrir le guide de contribution
Évaluation
Cette issue n'a pas encore été évaluée.