abetlen / abetlen/llama-cpp-python

Specify GPU Selection (e.g., CUDA:0, CUDA:1)

Ouverte
#1,816 4 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Python
Étoiles
10.6k
Forks
1.4k
Métriques de merge des PR
Métriques de PR en attente

Description

Hi,

Is there a way to specify which GPU to use for inference, such as restricting it to only `cuda:0` or `cuda:1` in the code? Or are there any workarounds for achieving this?

Thanks in advance.

Guide de contribution

Ouvrir le guide de contribution

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.