Is it possible to use Falcon3 or LLaMA,which are already supported by the CPU,in GPU mode?

Ouverte
#321 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
18/100
Type d'issue
Fonctionnalité
Clarté
À clarifier
Activité
À l'abandon
Stack technique
cpp
Domaine
backend, machine-learning

Piste de recherche

Le corps de l’issue ne mentionne aucun fichier, test ni point d’entrée. Commencez par localiser la prise en charge CPU existante de Falcon3 et LLaMA ainsi que le chemin d’exécution GPU, puis déterminez si ces modèles peuvent partager le mode GPU. C’est terminé lorsqu’une réponse documentée et testée est disponible, ou lorsqu’un chemin GPU est implémenté et vérifié.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Cette issue n'a pas de description.

Langage dominant
C++
Étoiles
40.3k
Forks
3.7k
Aucune PR mergée en 30 j

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de microsoft/BitNet

Toutes les issues de microsoft/BitNet

Issues similaires

Plus d'issues C++

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.