abetlen / abetlen/llama-cpp-python

Publish the latest llama.cpp?

オープン
#1,951 コメント 2 件 リアクション 4 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
10.6k
フォーク
1.4k
PR マージ指標
PR 指標を取得中

説明

Hello, I run an AMD card and there have been very significant ROCm support updates (flash attention, quants, massive speed improvements) since the llama.cpp version currently in llama-cpp-python.

Could you do us a big one and publish a new llama-cpp-python with the latest llama.cpp? It would be much appreciated! Thank you!

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。