abetlen / abetlen/llama-cpp-python

Using a pre-built wheel currently requires specifying the right version, e.g. llama-cpp-python==0.3.4

Đang mở
#1,872 3 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Python
Star
10.6k
Fork
1.4k
Chỉ số merge pull request
Chỉ số pull request đang chờ

Mô tả

Ran into this problem, and it might be helpful for others if this were clarified in the help text. When I run pip install llama-cpp-python it tries to use 0.3.5, and if that version isn't present in the extra-index-url, it will just ignore it and still try to build the wheel itself.

e.g. for CUDA it reccomends

```
pip install llama-cpp-python \
--extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cu121
```
but it only worked for me after clicking into the link and seeing that it only supports 0.3.4 / 0.2.9 / ...

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.