abetlen / abetlen/llama-cpp-python

ERROR: .GGML_ASSERT: D:\a\llama-cpp-python-cuBLAS-wheels\llama-cpp-python-cuBLAS-wheels\vendor\llama.cpp\ggml-cuda.cu:5925: false

Đang mở
#812 1 bình luận 2 reaction 0 người được giao Xem trên GitHub
bug
Ngôn ngữ chính
Python
Star
10.6k
Fork
1.4k
Chỉ số merge pull request
Chỉ số pull request đang chờ

Mô tả

When loading the model I get the following error message:

llm_load_tensors: ggml ctx size = 0.16 MB
llm_load_tensors: using CUDA for GPU acceleration
llm_load_tensors: mem required = 5734.11 MB
llm_load_tensors: offloading 20 repeating layers to GPU
llm_load_tensors: offloaded 20/43 layers to GPU
llm_load_tensors: VRAM used: 5266.66 MB
................................................GGML_ASSERT: D:\a-cpp-python-cuBLAS-wheels-wheels-cpp-python-cuBLAS-wheels.cpp-cuBLAS-wheels.cpp-cuBLAS-cuda.cu:5925: false

my llama-cpp version is: llama_cpp_python 0.2.11+cu117

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.