abetlen / abetlen/llama-cpp-python

phi3 chat format

未关闭
#1,736 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Python
星标
10.6k
派生
1.4k
PR 合并指标
PR 指标待抓取

描述

Hello,

Could you add the chat format for the phi3 models ?

It is described [here](https://huggingface.co/microsoft/Phi-3-medium-128k-instruct) :
```bash
<|user|>\nQuestion<|end|>\n<|assistant|>\nAnswer<|end|>\n
```

Maybe something like this in `llama_chat_format.py` ?

```python
@register_chat_format("phi3")
def format_phi3(
messages: List[llama_types.ChatCompletionRequestMessage],
**kwargs: Any,
) -> ChatFormatterResponse:
_roles = dict(
user="<|user|>\n",
assistant="<|assistant|>\n",
)
_sep = "<|end|>\n"
_messages = _map_roles(messages, _roles)
_messages.append((_roles["assistant"], None))
_prompt = _format_no_colon_single("", _messages, _sep)
return ChatFormatterResponse(prompt=_prompt, stop=_sep)
```

贡献指南

打开贡献指南

评估

这个 Issue 还没有评估数据。

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。