abetlen / abetlen/llama-cpp-python
Last message when streaming completion should not be empty
Đang mở
bug
- Ngôn ngữ chính
- Python
- Star
- 10.6k
- Fork
- 1.4k
- Chỉ số merge pull request
- Chỉ số pull request đang chờ
Mô tả
When streaming completions the last message is sometimes empty to ensure that the last message contains a finish_reason. This is correct according to the OpenAI schema but is not expected by all clients and can cause bugs (noticed this in openplayground).
Hướng dẫn đóng góp
Đánh giá
Issue này chưa được đánh giá.