abetlen / abetlen/llama-cpp-python
Issues with Llava-v1.6-34b and Llava16ChatHandler
Đang mở
- Ngôn ngữ chính
- Python
- Star
- 10.6k
- Fork
- 1.4k
- Chỉ số merge pull request
- Chỉ số pull request đang chờ
Mô tả
When I use _Llava16ChatHandler_ for _Llava-v1.6-34b_ (I used _Llava-v1.6-34b.Q5_K_M.gguf_) as instructed in the readme, it outputs random emojis or starts doing Q&A by itself.
I noticed that the chat template in the model metadata is:
`{% for message in messages %}{{'' + message['role'] + '\n' + message['content'] + '' + '\n'}}{% endfor %}{% if add_generation_prompt %}{{ 'assistant\n' }}{% endif %}`
It's in _chatML_ format.
So, I changed the handler to NanoLlavaChatHandler and it seems to work.
Hướng dẫn đóng góp
Đánh giá
Issue này chưa được đánh giá.