google / google/gemma.cpp

LLM output regression from #857 building with Emscripten

Ouverte
#885 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
C++
Étoiles
7k
Forks
660
Merge moyen
20 h 43 min
PR mergées (30 j)
33

Description

After #857, I now get gibberish from the llm output when using emscripten to build gemma.cpp.

To build you'll need [emsdk](https://github.com/emscripten-core/emsdk) and apply my patches from #833.

```bash
emcmake cmake -DCMAKE_POLICY_VERSION_MINIMUM=3.5 -B build-wasm
make -j -C build-wasm
node build-wasm/gemma.js --weights 270m-sfp-it.sbs --max_generated_tokens 100 --prompt "Why is the sky blue?"
```

Previous output: `Something about rayleigh scattering...`
New output: `áis собой Росії3atayavisフレックスateur choice...`

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Reproduisez le problème avec les commandes emcmake, make et node fournies après avoir appliqué les correctifs de #833. Comparez la sortie générée avec le comportement avant #857, puis examinez les modifications de #857 à la recherche de la régression spécifique à Emscripten. C'est terminé lorsque le build wasm produit à nouveau une sortie LLM cohérente.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
cpp, wasm
Domaine
build-system, web-dev
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
Calme
Clarté
Plutôt claire
Accessibilité débutants
45/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.