abetlen / abetlen/llama-cpp-python

ValueError: Failed to create llama_context

Abierto
#1,304 10 comentarios 5 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
10.6k
Forks
1.4k
Métricas de merge de PR
Métricas de PR pendientes

Descripción

(yuna2) (base) adm@Adms-MacBook-Pro yuna-ai % python index.py
ggml_metal_init: error: Error Domain=MTLLibraryErrorDomain Code=3 "program_source:3:10: fatal error: 'ggml-common.h' file not found
#include "ggml-common.h"
^~~~~~~~~~~~~~~
" UserInfo={NSLocalizedDescription=program_source:3:10: fatal error: 'ggml-common.h' file not found
#include "ggml-common.h"
^~~~~~~~~~~~~~~
}
llama_new_context_with_model: failed to initialize Metal backend
Traceback (most recent call last):
File "/Users/adm/Desktop/yuna-ai/index.py", line 171, in
yuna_server = YunaServer()
^^^^^^^^^^^^
File "/Users/adm/Desktop/yuna-ai/index.py", line 33, in __init__
self.chat_generator = ChatGenerator(self.config)
^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/Users/adm/Desktop/yuna-ai/lib/generate.py", line 11, in __init__
self.model = Llama(
^^^^^^
File "/usr/local/lib/python3.12/site-packages/llama_cpp/llama.py", line 328, in __init__
self._ctx = _LlamaContext(
^^^^^^^^^^^^^^
File "/usr/local/lib/python3.12/site-packages/llama_cpp/_internals.py", line 265, in __init__
raise ValueError("Failed to create llama_context")
ValueError: Failed to create llama_context
Screen Shot 2024-03-25 at 23 43 18

Guía de contribución

Abrir la guía de contribución

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.