abetlen / abetlen/llama-cpp-python
0.18 (and others?) no longer use GPU at all
Đang mở
bug
build
- Ngôn ngữ chính
- Python
- Star
- 10.6k
- Fork
- 1.4k
- Chỉ số merge pull request
- Chỉ số pull request đang chờ
Mô tả
https://github.com/jllllll/llama-cpp-python-cuBLAS-wheels/issues/21#issuecomment-1809000662
If I only install GPU version, fails needing llama cpp python. With both installed, never uses GPU, no mention of offlload as usual, etc.
Hướng dẫn đóng góp
Đánh giá
Issue này chưa được đánh giá.