abetlen / abetlen/llama-cpp-python
0.18 (and others?) no longer use GPU at all
Ouverte
bug
build
- Langage dominant
- Python
- Étoiles
- 10.6k
- Forks
- 1.4k
- Métriques de merge des PR
- Métriques de PR en attente
Description
https://github.com/jllllll/llama-cpp-python-cuBLAS-wheels/issues/21#issuecomment-1809000662
If I only install GPU version, fails needing llama cpp python. With both installed, never uses GPU, no mention of offlload as usual, etc.
Guide de contribution
Ouvrir le guide de contribution
Évaluation
Cette issue n'a pas encore été évaluée.