abetlen / abetlen/llama-cpp-python

Specify GPU Selection (e.g., CUDA:0, CUDA:1)

Aperta
#1,816 4 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
10.6k
Fork
1.4k
Metriche di merge delle PR
Metriche PR in attesa

Descrizione

Hi,

Is there a way to specify which GPU to use for inference, such as restricting it to only `cuda:0` or `cuda:1` in the code? Or are there any workarounds for achieving this?

Thanks in advance.

Guida per i contributori

Apri la guida per i contributori

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.