abetlen / abetlen/llama-cpp-python

Please add response_format to create_completion

オープン
#1,478 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
enhancement
主要言語
Python
スター
10.6k
フォーク
1.4k
PR マージ指標
PR 指標を取得中

説明

**Is your feature request related to a problem? Please describe.**
The function create_chat_completion has an option for a response_format parameter which can be used to specify things like JSON output with an optional schema. This is great. However, this option is completely missing from create_completion.

Problem is, what am I supposed to do if I need a chat format that isn't supported by create_chat_completion? I don't mind manually creating the prompt in these cases, but not being able to ensure JSON output is a serious limitation.

**Describe the solution you'd like**
Support the response_format parameter in create_completion the same as it is in create_chat_completion.

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。