abetlen / abetlen/llama-cpp-python

phi3 chat format

Aberta
#1,736 0 comentários 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
Python
Estrelas
10.6k
Forks
1.4k
Métricas de merge de PRs
Métricas de PR pendentes

Descrição

Hello,

Could you add the chat format for the phi3 models ?

It is described [here](https://huggingface.co/microsoft/Phi-3-medium-128k-instruct) :
```bash
<|user|>\nQuestion<|end|>\n<|assistant|>\nAnswer<|end|>\n
```

Maybe something like this in `llama_chat_format.py` ?

```python
@register_chat_format("phi3")
def format_phi3(
messages: List[llama_types.ChatCompletionRequestMessage],
**kwargs: Any,
) -> ChatFormatterResponse:
_roles = dict(
user="<|user|>\n",
assistant="<|assistant|>\n",
)
_sep = "<|end|>\n"
_messages = _map_roles(messages, _roles)
_messages.append((_roles["assistant"], None))
_prompt = _format_no_colon_single("", _messages, _sep)
return ChatFormatterResponse(prompt=_prompt, stop=_sep)
```

Guia de contribuição

Abrir o guia de contribuição

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.