abetlen / abetlen/llama-cpp-python

GPU Utilization zero when evaluating GGUFs through lm-evaluation

Đang mở
#1,510 3 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Python
Star
10.6k
Fork
1.4k
Chỉ số merge pull request
Chỉ số pull request đang chờ

Mô tả

i'm enabling gpu-acceleration during installation as suggested in readme:
`CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1
pip install 'llama-cpp-python[server]'`
Then activating the local server by:
`python3 -m llama_cpp.server --model models/7B/llama-model.gguf --n_gpu_layers -1`
and then finally using lm-evaluation for evaluating:

`lm_eval --model gguf --model_args base_url=http://localhost:8000 --tasks multimedqa`

....this just runs evaluation without using any GPU

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.