abetlen / abetlen/llama-cpp-python

streaming not working

Aberta
#1,604 2 comentários 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
Python
Estrelas
10.6k
Forks
1.4k
Métricas de merge de PRs
Métricas de PR pendentes

Descrição

Can somebody describe, why streaming is not working? The model provides the answer at once instead of streaming,

llm = Llama(
streaming=True,
model_path="/mistral-7b-chat-int8-v0.2.Q4_K_M.gguf",
n_ctx=32768,
n_threads=4,
n_gpu_layers=20,
callbacks=[StreamingStdOutCallbackHandler()],
verbose=True
)

generation_kwargs = {
"max_tokens": 20000,
"stop": [""],
"streaming": True,
"echo": False,
"top_k": 1
}

llm_response = llm(prompt, **generation_kwargs)

final_result = llm_response["choices"][0]["text"]

return final_result

Guia de contribuição

Abrir o guia de contribuição

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.