abetlen / abetlen/llama-cpp-python

cuBLAS on WSL: "no CUDA-capable device is detected"

Aberta
#1,030 2 comentários 0 reações 0 responsáveis Ver no GitHub
bug
Linguagem predominante
Python
Estrelas
10.6k
Forks
1.4k
Métricas de merge de PRs
Métricas de PR pendentes

Descrição

Hi there,

I'm following this instruction to build llama.cpp from scratch:
https://github.com/ggerganov/llama.cpp#cublas
I run it in ubuntu in WSL.
CPU inference works for me with no issue, but when I try to run cublas build it fails with:

```
CUDA error 100 at /mnt/c/ws/ai/llama/llama.cpp/ggml-cuda.cu:485: no CUDA-capable device is detected
current device: 0
GGML_ASSERT: /mnt/c/ws/ai/llama/llama.cpp/ggml-cuda.cu:485: !"CUDA error"
Aborted
```

Any idea how can I fix it?

Thanks,
Mike.

Guia de contribuição

Abrir o guia de contribuição

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.