abetlen / abetlen/llama-cpp-python
Not able to Install with cuda support in Bento
Aperta
bug
- Lingua principale
- Python
- Stelle
- 10.6k
- Fork
- 1.4k
- Metriche di merge delle PR
- Metriche PR in attesa
Descrizione
When I try to install llama cpp python in the bento it is getting installed but without cuda support the model is running on CPU.
I am using cuda 11.8 .
Guida per i contributori
Apri la guida per i contributori
Valutazione
Questa issue non è ancora stata valutata.