QAT Models supported?
- Lenguaje dominante
- C++
- Estrellas
- 7k
- Forks
- 660
- Merge medio
- 20 h 43 min
- PR fusionados (30 d)
- 33
Descripción
Thanks for the wonderful repo. It's a pleasure to work with it.
Are the new 4-bit quantized models for gemma 3 supported by gemma.cpp? Judging from the press-release https://developers.googleblog.com/en/gemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus/ and looking through the gemma.cpp repo, it doesn't seem like it, but I am bit surprised about it.
Guía de contribución
Línea de trabajo
Comienza revisando la compatibilidad actual de modelos de gemma.cpp y comparándola con los modelos Gemma 3 QAT descritos en el comunicado de prensa de Google enlazado. Confirma si esos modelos son compatibles con el repositorio; si no lo son, define la compatibilidad que falta y cómo se verificaría una carga correcta.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- cpp
- Área
- machine-learning
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 25/100