abetlen / abetlen/llama-cpp-python

Feature request : NPU Support

Offen
#1,702 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
10.6k
Forks
1.4k
PR-Merge-Kennzahlen
PR-Kennzahlen ausstehend

Beschreibung

First, thank you for your incredible work on this project! To enhance its performance, especially on mobile devices and NPU-enabled PCs like those with Copilot+, I would love to see support for Neural Processing Units (NPUs). Integrating NPU support would significantly improve the speed and efficiency of AI tasks, offering users a smoother and more responsive experience in terms of quick response generation.

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.