abetlen / abetlen/llama-cpp-python
0.18 (and others?) no longer use GPU at all
Abierto
bug
build
- Lenguaje dominante
- Python
- Estrellas
- 10.6k
- Forks
- 1.4k
- Métricas de merge de PR
- Métricas de PR pendientes
Descripción
https://github.com/jllllll/llama-cpp-python-cuBLAS-wheels/issues/21#issuecomment-1809000662
If I only install GPU version, fails needing llama cpp python. With both installed, never uses GPU, no mention of offlload as usual, etc.
Guía de contribución
Evaluación
Este issue todavía no se ha evaluado.