abetlen / abetlen/llama-cpp-python
Last message when streaming completion should not be empty
Offen
bug
- Vorherrschende Sprache
- Python
- Sterne
- 10.6k
- Forks
- 1.4k
- PR-Merge-Kennzahlen
- PR-Kennzahlen ausstehend
Beschreibung
When streaming completions the last message is sometimes empty to ensure that the last message contains a finish_reason. This is correct according to the OpenAI schema but is not expected by all clients and can cause bugs (noticed this in openplayground).
Beitragsleitfaden
Bewertung
Dieses Issue wurde noch nicht bewertet.