abetlen / abetlen/llama-cpp-python

igpu

Ouverte
#1,709 6 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
question
Langage dominant
Python
Étoiles
10.6k
Forks
1.4k
Métriques de merge des PR
Métriques de PR en attente

Description

from llama_cpp import Llama

llm = Llama(
model_path="C:\\Users\\ArabTech\\Desktop\\4\\phi-3.5-mini-instruct-q4_k_m.gguf",
n_gpu_layers=-1,
verbose=True,
)
output = llm(
"Q: Who is Napoleon Bonaparte A: ",
max_tokens=1024,
stop=["\n"] # Add a stop sequence to end generation at a newline
)
print(output)

n_gpu_layers=-1
n_gpu_layers=32

not work on igpu intel

how ofload model on igpu intel?

Guide de contribution

Ouvrir le guide de contribution

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.