google / google/gemma.cpp

QAT Models supported?

Aperta
#543 5 commenti 2 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
C++
Stelle
7k
Fork
660
Merge medio
20h 43m
PR unite (30g)
33

Descrizione

Thanks for the wonderful repo. It's a pleasure to work with it.

Are the new 4-bit quantized models for gemma 3 supported by gemma.cpp? Judging from the press-release https://developers.googleblog.com/en/gemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus/ and looking through the gemma.cpp repo, it doesn't seem like it, but I am bit surprised about it.

Guida per i contributori

Apri la guida per i contributori

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.