abetlen / abetlen/llama-cpp-python
Use Custom GPU
Aperta
- Lingua principale
- Python
- Stelle
- 10.6k
- Fork
- 1.4k
- Metriche di merge delle PR
- Metriche PR in attesa
Descrizione
**How to use custom GPU**
I have 2 Cuda GPU
How to set llama cpp to use which GPU out of them and how i can use both of them how handle multiple requests at a time
Guida per i contributori
Apri la guida per i contributori
Valutazione
Questa issue non è ancora stata valutata.