google / google/gemma.cpp

LLM output regression from #857 building with Emscripten

Abierto
#885 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
C++
Estrellas
7k
Forks
660
Merge medio
20 h 43 min
PR fusionados (30 d)
33

Descripción

After #857, I now get gibberish from the llm output when using emscripten to build gemma.cpp.

To build you'll need [emsdk](https://github.com/emscripten-core/emsdk) and apply my patches from #833.

```bash
emcmake cmake -DCMAKE_POLICY_VERSION_MINIMUM=3.5 -B build-wasm
make -j -C build-wasm
node build-wasm/gemma.js --weights 270m-sfp-it.sbs --max_generated_tokens 100 --prompt "Why is the sky blue?"
```

Previous output: `Something about rayleigh scattering...`
New output: `áis собой Росії3atayavisフレックスateur choice...`

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Reproduce el problema con los comandos emcmake, make y node proporcionados después de aplicar los parches de #833. Compara la salida generada con el comportamiento anterior a #857 y, a continuación, inspecciona los cambios de #857 para detectar la regresión específica de Emscripten. Se considera terminado cuando la compilación de wasm vuelva a producir una salida coherente de LLM.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
cpp, wasm
Área
build-system, web-dev
Tipo de issue
Error
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Tranquilo
Claridad
Bastante claro
Aptitud para principiantes
45/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.