abetlen / abetlen/llama-cpp-python

Feature request : NPU Support

Aperta
#1,702 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
10.6k
Fork
1.4k
Metriche di merge delle PR
Metriche PR in attesa

Descrizione

First, thank you for your incredible work on this project! To enhance its performance, especially on mobile devices and NPU-enabled PCs like those with Copilot+, I would love to see support for Neural Processing Units (NPUs). Integrating NPU support would significantly improve the speed and efficiency of AI tasks, offering users a smoother and more responsive experience in terms of quick response generation.

Guida per i contributori

Apri la guida per i contributori

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.