google / google/gemma.cpp

QAT Models supported?

オープン
#543 コメント 5 件 リアクション 2 件 担当者 0 名 GitHub で見る
主要言語
C++
スター
7k
フォーク
660
平均マージ
20時間 43分
マージ済み PR(30日)
33

説明

Thanks for the wonderful repo. It's a pleasure to work with it.

Are the new 4-bit quantized models for gemma 3 supported by gemma.cpp? Judging from the press-release https://developers.googleblog.com/en/gemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus/ and looking through the gemma.cpp repo, it doesn't seem like it, but I am bit surprised about it.

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず、gemma.cpp の現在のモデルサポートを確認し、リンクされた Google のプレスリリースで説明されている Gemma 3 QAT モデルと比較します。これらのモデルがリポジトリでサポートされているか確認し、サポートされていない場合は、必要な不足サポートと、正常な読み込みをどのように検証するかを定義します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
cpp
領域
machine-learning
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。