abetlen / abetlen/llama-cpp-python

Failed to load shared library 'E:\anaconda\envs\xinference\lib\site-packages\llama_cpp\lib\llama.dll'

Đang mở
#1,685 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Python
Star
10.6k
Fork
1.4k
Chỉ số merge pull request
Chỉ số pull request đang chờ

Mô tả

After installing v0.2.88-cu124, I execute the sample code, but an error is reported.Here's the code

```python
from llama_cpp import Llama

llm = Llama(
model_path=r"F:\XinferenceCache\modelscope\hub\LLM-Research\glm-4-9b-chat-GGUF\glm-4-9b-chat.Q2_K.gguf",
# n_gpu_layers=-1, # Uncomment to use GPU acceleration
# seed=1337, # Uncomment to set a specific seed
# n_ctx=2048, # Uncomment to increase the context window
)
output = llm(
"Q: Name the planets in the solar system? A: ", # Prompt
max_tokens=32, # Generate up to 32 tokens, set to None to generate up to the end of the context window
stop=["Q:", "\n"], # Stop generating just before the model would generate a new question
echo=True # Echo the prompt back in the output
) # Generate a completion, can also call create_completion
print(output)
```

This is an error message:
![企业微信截图_17237102242870](https://github.com/user-attachments/assets/3aab4b97-a7df-4ef7-ae59-2559d8cd5842)
This issue still doesn't seem to be fixed,I tried the method in #208 but it didn't work

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.