abetlen / abetlen/llama-cpp-python

Add the possibility to pass all the generation parameters to the API of the server

オープン
#1,151 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
enhancement
主要言語
Python
スター
10.6k
フォーク
1.4k
PR マージ指標
PR 指標を取得中

説明

Add the possibility to pass to the REST API of the server in the docker image ghcr.io/abetlen/llama-cpp-python:latest all the generation runtime parameters like temperature, repeat_penalty, max_tokens, grammar, stop, top_k, etc.

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。