google / google/gemma.cpp

QAT Models supported?

Offen
#543 5 Kommentare 2 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
C++
Sterne
7k
Forks
660
Ø Merge
20 Std. 43 Min.
Gemergte PRs (30 T.)
33

Beschreibung

Thanks for the wonderful repo. It's a pleasure to work with it.

Are the new 4-bit quantized models for gemma 3 supported by gemma.cpp? Judging from the press-release https://developers.googleblog.com/en/gemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus/ and looking through the gemma.cpp repo, it doesn't seem like it, but I am bit surprised about it.

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.