google / google/gemma.cpp

QAT Models supported?

Abierto
#543 5 comentarios 2 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
C++
Estrellas
7k
Forks
660
Merge medio
20 h 43 min
PR fusionados (30 d)
33

Descripción

Thanks for the wonderful repo. It's a pleasure to work with it.

Are the new 4-bit quantized models for gemma 3 supported by gemma.cpp? Judging from the press-release https://developers.googleblog.com/en/gemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus/ and looking through the gemma.cpp repo, it doesn't seem like it, but I am bit surprised about it.

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza revisando la compatibilidad actual de modelos de gemma.cpp y comparándola con los modelos Gemma 3 QAT descritos en el comunicado de prensa de Google enlazado. Confirma si esos modelos son compatibles con el repositorio; si no lo son, define la compatibilidad que falta y cómo se verificaría una carga correcta.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
cpp
Área
machine-learning
Tipo de issue
Nueva funcionalidad
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
25/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.