abetlen / abetlen/llama-cpp-python

Request for Gemma 3 4B & Gemma 4 Integration Support with llama-cpp-python

Aberta
#2,231 2 comentários 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
Python
Estrelas
10.6k
Forks
1.4k
Métricas de merge de PRs
Métricas de PR pendentes

Descrição

Hi team,

I would like to request official support and documentation for Gemma 3 4B and Gemma 4 integration within llama-cpp-python.

It would be helpful to have clarification regarding:

* Current compatibility status
* Required llama.cpp / llama-cpp-python versions
* Chat template handling requirements
* Recommended GGUF formats and quantizations
* Known limitations or issues
* Recommended inference parameters for stable usage

Any guidance, implementation notes, or examples would be greatly appreciated (without using ollama)

Kind regards,
Jonathan Park

Guia de contribuição

Abrir o guia de contribuição

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.