google / google/gemma.cpp

Feature Request / Proposal: "E12B" (Effective 12B) Model Class for Gemma 5 (Optimized for 12GB VRAM / Desktop Users)

オープン
#990 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
C++
スター
7k
フォーク
660
平均マージ
20時間 43分
マージ済み PR(30日)
33

説明

**Hi Gemma Team,**

First off, thank you for the incredible work on the Gemma 4 series! The E2B and E4B models have been game-changers for light/mobile workloads.

However, there is a massive gap in the desktop consumer landscape: the **12GB VRAM bracket** (e.g., RTX 4070 / 3060 12GB users), which represents a huge portion of local LLM enthusiasts and independent developers.

While standard 12B Dense models run well, they often trade off reasoning capability compared to 27B–35B models. On the other hand, running 27B+ models locally requires offloading or heavy quantization that severely degrades speed.

**Proposal for Gemma 5:**
Introducing an **E12B (Effective 12B)** architecture (e.g., a sparse/MoE or active-parameter architecture that yields 27B–35B intelligence while maintaining a 12B active VRAM/RAM footprint).

This would hit the absolute "**sweet spot**" for desktop hardware, allowing high-speed, high-context generation without forcing users into massive VRAM upgrades during current hardware/RAM market constraints.

Bringing the "Effective" architecture scaling up to the 12B class in Gemma 5 would empower millions of local deployment users.

Thanks for considering this feedback!

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

Issue にはファイル、テスト、エントリーポイントが記載されていません。コントリビューターが具体的な変更や明確な完了確認を特定できるようにするには、まずメンテナーがアーキテクチャと実装範囲を定義する必要があります。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
cpp
領域
ai, machine-learning, performance
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
活発
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。