google / google/gemma.cpp

Give a known-good example for https://github.com/google/gemma.cpp/blob/main/API_SERVER_README.md

Abierto
#911 2 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
C++
Estrellas
7k
Forks
660
Merge medio
20 h 43 min
PR fusionados (30 d)
33

Descripción

Would it be possible to give at least one known-working example for using Gemma.cpp as an API server, as described in https://github.com/google/gemma.cpp/blob/main/API_SERVER_README.md?

To wit, building and running Gemma with one of the Gemma.cpp-specific models from kaggle yields this:

```
./bazel-bin/gemma_api_server --weights $HOME/Downloads/gemma-3/2b-pt.sbs --tokenizer $HOME/Downloads/gemma-3/tokenizer.spm --model gemma3
Loading model... 5012344832 blob bytes (100.00%) of bf16 normalizer.cc(52) LOG(INFO) precompiled_charsmap is empty. use identity normalization. Abort at weights.cc:753: Tensor post_att_ns_0 is required but not found in file.
/usr/bin/bash: line 3: 2931544 Aborted (core dumped) ( ./bazel-bin/gemma_api_server --weights $HOME/Downloads/gemma-3/2b-pt.sbs --tokenizer $HOME/Downloads/gemma-3/tokenizer.spm --model gemma3 )
/usr/bin/bash: line 4: /tmp/gemini-shell-WIkCYY/pgrep.tmp: No such file or directory
```

Specifically, at the [Usage section][is], it would be nice to hint which one of the several identical-seeming files might work.

[is]: https://github.com/google/gemma.cpp/blob/main/API_SERVER_README.md#usage

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza con API_SERVER_README.md, especialmente con la sección Usage, e investiga cuál de los archivos de modelo de Gemma.cpp con nombres similares corresponde al comando del servidor API gemma3. Reproduce el comando mostrado y verifica que un archivo de pesos compatible evite el error del tensor faltante post_att_ns_0. Actualiza la sección Usage con un ejemplo que se sepa que funciona y las opciones de archivo requeridas.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
cpp
Área
documentation
Tipo de issue
Documentación
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Tranquilo
Claridad
Bastante claro
Aptitud para principiantes
52/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.