google / google/gemma.cpp

LLM output regression from #857 building with Emscripten

Đang mở
#885 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
C++
Star
7k
Fork
660
Merge trung bình
20 giờ 43 phút
Pull request đã merge (30 ngày)
33

Mô tả

After #857, I now get gibberish from the llm output when using emscripten to build gemma.cpp.

To build you'll need [emsdk](https://github.com/emscripten-core/emsdk) and apply my patches from #833.

```bash
emcmake cmake -DCMAKE_POLICY_VERSION_MINIMUM=3.5 -B build-wasm
make -j -C build-wasm
node build-wasm/gemma.js --weights 270m-sfp-it.sbs --max_generated_tokens 100 --prompt "Why is the sky blue?"
```

Previous output: `Something about rayleigh scattering...`
New output: `áis собой Росії3atayavisフレックスateur choice...`

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Tái hiện sự cố bằng các lệnh emcmake, make và node được cung cấp sau khi áp dụng các bản vá từ #833. So sánh đầu ra được tạo ra với hành vi trước #857, sau đó kiểm tra các thay đổi trong #857 để tìm hồi quy dành riêng cho Emscripten. Hoàn tất khi bản build wasm lại tạo ra đầu ra LLM nhất quán.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
cpp, wasm
Lĩnh vực
build-system, web-dev
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Ít trao đổi
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
45/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.