abetlen / abetlen/llama-cpp-python

ValueError: Model path does not exist

Aberta
#1,233 1 comentário 1 reação 0 responsáveis Ver no GitHub
Linguagem predominante
Python
Estrelas
10.6k
Forks
1.4k
Métricas de merge de PRs
Métricas de PR pendentes

Descrição

I am trying to load GGUF models and some of them are giving me the following error:

ValueError(f"Failed to load model from file: {path_model}")

Specs:

- 1 x H100 80GB PCIe, 32 vCPU 188 GB RAM

CUDA version: 11.8

Ubuntu 22.04.2 LTS

pytorch:3.10

llama-cpp-python: 0.2.52

Guia de contribuição

Abrir o guia de contribuição

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.