QAT Models supported?
- Langage dominant
- C++
- Étoiles
- 7k
- Forks
- 660
- Merge moyen
- 20 h 43 min
- PR mergées (30 j)
- 33
Description
Thanks for the wonderful repo. It's a pleasure to work with it.
Are the new 4-bit quantized models for gemma 3 supported by gemma.cpp? Judging from the press-release https://developers.googleblog.com/en/gemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus/ and looking through the gemma.cpp repo, it doesn't seem like it, but I am bit surprised about it.
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Commencez par examiner la prise en charge actuelle des modèles par gemma.cpp et par la comparer aux modèles Gemma 3 QAT décrits dans le communiqué de presse de Google lié. Confirmez si ces modèles sont pris en charge par le dépôt ; dans le cas contraire, définissez la prise en charge manquante et la manière dont le chargement réussi serait vérifié.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- cpp
- Domaine
- machine-learning
- Type d'issue
- Fonctionnalité
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 25/100