abetlen / abetlen/llama-cpp-python

Issues with Llava-v1.6-34b and Llava16ChatHandler

未关闭
#1,482 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Python
星标
10.6k
派生
1.4k
PR 合并指标
PR 指标待抓取

描述

When I use _Llava16ChatHandler_ for _Llava-v1.6-34b_ (I used _Llava-v1.6-34b.Q5_K_M.gguf_) as instructed in the readme, it outputs random emojis or starts doing Q&A by itself.

I noticed that the chat template in the model metadata is:

`{% for message in messages %}{{'' + message['role'] + '\n' + message['content'] + '' + '\n'}}{% endfor %}{% if add_generation_prompt %}{{ 'assistant\n' }}{% endif %}`
It's in _chatML_ format.

So, I changed the handler to NanoLlavaChatHandler and it seems to work.

贡献指南

打开贡献指南

评估

这个 Issue 还没有评估数据。

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。