google / google/gemma.cpp

LLM output regression from #857 building with Emscripten

Aperta
#885 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
C++
Stelle
7k
Fork
660
Merge medio
20h 43m
PR unite (30g)
33

Descrizione

After #857, I now get gibberish from the llm output when using emscripten to build gemma.cpp.

To build you'll need [emsdk](https://github.com/emscripten-core/emsdk) and apply my patches from #833.

```bash
emcmake cmake -DCMAKE_POLICY_VERSION_MINIMUM=3.5 -B build-wasm
make -j -C build-wasm
node build-wasm/gemma.js --weights 270m-sfp-it.sbs --max_generated_tokens 100 --prompt "Why is the sky blue?"
```

Previous output: `Something about rayleigh scattering...`
New output: `áis собой Росії3atayavisフレックスateur choice...`

Guida per i contributori

Apri la guida per i contributori

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.