google / google/gemma.cpp

Feature Request / Proposal: "E12B" (Effective 12B) Model Class for Gemma 5 (Optimized for 12GB VRAM / Desktop Users)

Abierto
#990 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
C++
Estrellas
7k
Forks
660
Merge medio
20 h 43 min
PR fusionados (30 d)
33

Descripción

**Hi Gemma Team,**

First off, thank you for the incredible work on the Gemma 4 series! The E2B and E4B models have been game-changers for light/mobile workloads.

However, there is a massive gap in the desktop consumer landscape: the **12GB VRAM bracket** (e.g., RTX 4070 / 3060 12GB users), which represents a huge portion of local LLM enthusiasts and independent developers.

While standard 12B Dense models run well, they often trade off reasoning capability compared to 27B–35B models. On the other hand, running 27B+ models locally requires offloading or heavy quantization that severely degrades speed.

**Proposal for Gemma 5:**
Introducing an **E12B (Effective 12B)** architecture (e.g., a sparse/MoE or active-parameter architecture that yields 27B–35B intelligence while maintaining a 12B active VRAM/RAM footprint).

This would hit the absolute "**sweet spot**" for desktop hardware, allowing high-speed, high-context generation without forcing users into massive VRAM upgrades during current hardware/RAM market constraints.

Bringing the "Effective" architecture scaling up to the 12B class in Gemma 5 would empower millions of local deployment users.

Thanks for considering this feedback!

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

El issue no nombra archivos, pruebas ni puntos de entrada. La propuesta necesita una arquitectura y un alcance de implementación definidos por los maintainers antes de que un colaborador pueda identificar un cambio concreto o un criterio claro para comprobar que está completo.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
cpp
Área
ai, machine-learning, performance
Tipo de issue
Nueva funcionalidad
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Activo
Claridad
Necesita aclaración
Aptitud para principiantes
25/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.