google / google/gemma.cpp

QAT Models supported?

Ouverte
#543 5 commentaires 2 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
C++
Étoiles
7k
Forks
660
Merge moyen
20 h 43 min
PR mergées (30 j)
33

Description

Thanks for the wonderful repo. It's a pleasure to work with it.

Are the new 4-bit quantized models for gemma 3 supported by gemma.cpp? Judging from the press-release https://developers.googleblog.com/en/gemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus/ and looking through the gemma.cpp repo, it doesn't seem like it, but I am bit surprised about it.

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par examiner la prise en charge actuelle des modèles par gemma.cpp et par la comparer aux modèles Gemma 3 QAT décrits dans le communiqué de presse de Google lié. Confirmez si ces modèles sont pris en charge par le dépôt ; dans le cas contraire, définissez la prise en charge manquante et la manière dont le chargement réussi serait vérifié.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
cpp
Domaine
machine-learning
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.