QAT Models supported?
オープン
- 主要言語
- C++
- スター
- 7k
- フォーク
- 660
- 平均マージ
- 20時間 43分
- マージ済み PR(30日)
- 33
説明
Thanks for the wonderful repo. It's a pleasure to work with it.
Are the new 4-bit quantized models for gemma 3 supported by gemma.cpp? Judging from the press-release https://developers.googleblog.com/en/gemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus/ and looking through the gemma.cpp repo, it doesn't seem like it, but I am bit surprised about it.
コントリビューションガイド
調査の方向性
まず、gemma.cpp の現在のモデルサポートを確認し、リンクされた Google のプレスリリースで説明されている Gemma 3 QAT モデルと比較します。これらのモデルがリポジトリでサポートされているか確認し、サポートされていない場合は、必要な不足サポートと、正常な読み込みをどのように検証するかを定義します。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- cpp
- 領域
- machine-learning
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100