abetlen / abetlen/llama-cpp-python

streaming not working

未关闭
#1,604 2 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Python
星标
10.6k
派生
1.4k
PR 合并指标
PR 指标待抓取

描述

Can somebody describe, why streaming is not working? The model provides the answer at once instead of streaming,

llm = Llama(
streaming=True,
model_path="/mistral-7b-chat-int8-v0.2.Q4_K_M.gguf",
n_ctx=32768,
n_threads=4,
n_gpu_layers=20,
callbacks=[StreamingStdOutCallbackHandler()],
verbose=True
)

generation_kwargs = {
"max_tokens": 20000,
"stop": [""],
"streaming": True,
"echo": False,
"top_k": 1
}

llm_response = llm(prompt, **generation_kwargs)

final_result = llm_response["choices"][0]["text"]

return final_result

贡献指南

打开贡献指南

评估

这个 Issue 还没有评估数据。

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。