abetlen / abetlen/llama-cpp-python
Last message when streaming completion should not be empty
Aberta
bug
- Linguagem predominante
- Python
- Estrelas
- 10.6k
- Forks
- 1.4k
- Métricas de merge de PRs
- Métricas de PR pendentes
Descrição
When streaming completions the last message is sometimes empty to ensure that the last message contains a finish_reason. This is correct according to the OpenAI schema but is not expected by all clients and can cause bugs (noticed this in openplayground).
Guia de contribuição
Avaliação
Esta issue ainda não foi avaliada.