abetlen / abetlen/llama-cpp-python
Why is this not working for the current release. UNABLE TO USE GPU
Đang mở
- Ngôn ngữ chính
- Python
- Star
- 10.6k
- Fork
- 1.4k
- Chỉ số merge pull request
- Chỉ số pull request đang chờ
Mô tả
I got it to works just like instruction, I'm using CUDA 12.3:
`set CMAKE_ARGS="-DLLAMA_CUBLAS=on" && set FORCE_CMAKE=1 && pip install --no-cache-dir llama-cpp-python==0.2.90 --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cu123`
_Originally posted by @BinhPQ2 in https://github.com/abetlen/llama-cpp-python/issues/576#issuecomment-2379861701_
Hướng dẫn đóng góp
Đánh giá
Issue này chưa được đánh giá.