abetlen / abetlen/llama-cpp-python

Up to date llama.cpp wheel here (native libraries)

Offen
#2,123 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
10.6k
Forks
1.4k
PR-Merge-Kennzahlen
PR-Kennzahlen ausstehend

Beschreibung

Hi! I made a repo [mdjou/lcpp-lib-python](https://github.com/mdjou/lcpp-lib-python) with automatic up to date wheels of llama.cpp native libraries.
Currently I provide linux-x64 vulkan wheels, but I can add other flavors and OS'es if there is demand - please open issues in my repo.
**Update**: windows-x64-vulkan, linux-x64-vulkan, and macos-arm64-metal are now available.

Note: It is not a replacement of llama-cpp-python, it is intentionally a bare-bones repackage of upstream releases of [llama.cpp](https://github.com/ggml-org/llama.cpp) with minimal lag.

You can use it as a dependency to make your own bindings, without having to worry about native compilation and correct packaging of binaries.

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.