abetlen / abetlen/llama-cpp-python

Up to date llama.cpp wheel here (native libraries)

オープン
#2,123 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
10.6k
フォーク
1.4k
PR マージ指標
PR 指標を取得中

説明

Hi! I made a repo [mdjou/lcpp-lib-python](https://github.com/mdjou/lcpp-lib-python) with automatic up to date wheels of llama.cpp native libraries.
Currently I provide linux-x64 vulkan wheels, but I can add other flavors and OS'es if there is demand - please open issues in my repo.
**Update**: windows-x64-vulkan, linux-x64-vulkan, and macos-arm64-metal are now available.

Note: It is not a replacement of llama-cpp-python, it is intentionally a bare-bones repackage of upstream releases of [llama.cpp](https://github.com/ggml-org/llama.cpp) with minimal lag.

You can use it as a dependency to make your own bindings, without having to worry about native compilation and correct packaging of binaries.

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。