abetlen / abetlen/llama-cpp-python
Use Custom GPU
Đang mở
- Ngôn ngữ chính
- Python
- Star
- 10.6k
- Fork
- 1.4k
- Chỉ số merge pull request
- Chỉ số pull request đang chờ
Mô tả
**How to use custom GPU**
I have 2 Cuda GPU
How to set llama cpp to use which GPU out of them and how i can use both of them how handle multiple requests at a time
Hướng dẫn đóng góp
Đánh giá
Issue này chưa được đánh giá.