abetlen / abetlen/llama-cpp-python

streaming not working

未關閉
#1,604 2 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視
主要語言
Python
星號
10.6k
分支
1.4k
PR 合併指標
PR 指標待擷取

描述

Can somebody describe, why streaming is not working? The model provides the answer at once instead of streaming,

llm = Llama(
streaming=True,
model_path="/mistral-7b-chat-int8-v0.2.Q4_K_M.gguf",
n_ctx=32768,
n_threads=4,
n_gpu_layers=20,
callbacks=[StreamingStdOutCallbackHandler()],
verbose=True
)

generation_kwargs = {
"max_tokens": 20000,
"stop": [""],
"streaming": True,
"echo": False,
"top_k": 1
}

llm_response = llm(prompt, **generation_kwargs)

final_result = llm_response["choices"][0]["text"]

return final_result

貢獻指南

開啟貢獻指南

評估

這個 Issue 還沒有評估資料。

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。