abetlen / abetlen/llama-cpp-python

Request for Gemma 3 4B & Gemma 4 Integration Support with llama-cpp-python

Ouverte
#2,231 2 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Python
Étoiles
10.6k
Forks
1.4k
Métriques de merge des PR
Métriques de PR en attente

Description

Hi team,

I would like to request official support and documentation for Gemma 3 4B and Gemma 4 integration within llama-cpp-python.

It would be helpful to have clarification regarding:

* Current compatibility status
* Required llama.cpp / llama-cpp-python versions
* Chat template handling requirements
* Recommended GGUF formats and quantizations
* Known limitations or issues
* Recommended inference parameters for stable usage

Any guidance, implementation notes, or examples would be greatly appreciated (without using ollama)

Kind regards,
Jonathan Park

Guide de contribution

Ouvrir le guide de contribution

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.