abetlen / abetlen/llama-cpp-python
ValueError: Model path does not exist
Abierto
- Lenguaje dominante
- Python
- Estrellas
- 10.6k
- Forks
- 1.4k
- Métricas de merge de PR
- Métricas de PR pendientes
Descripción
I am trying to load GGUF models and some of them are giving me the following error:
ValueError(f"Failed to load model from file: {path_model}")
Specs:
- 1 x H100 80GB PCIe, 32 vCPU 188 GB RAM
CUDA version: 11.8
Ubuntu 22.04.2 LTS
pytorch:3.10
llama-cpp-python: 0.2.52
Guía de contribución
Evaluación
Este issue todavía no se ha evaluado.