LLM output regression from #857 building with Emscripten
- Ngôn ngữ chính
- C++
- Star
- 7k
- Fork
- 660
- Merge trung bình
- 20 giờ 43 phút
- Pull request đã merge (30 ngày)
- 33
Mô tả
After #857, I now get gibberish from the llm output when using emscripten to build gemma.cpp.
To build you'll need [emsdk](https://github.com/emscripten-core/emsdk) and apply my patches from #833.
```bash
emcmake cmake -DCMAKE_POLICY_VERSION_MINIMUM=3.5 -B build-wasm
make -j -C build-wasm
node build-wasm/gemma.js --weights 270m-sfp-it.sbs --max_generated_tokens 100 --prompt "Why is the sky blue?"
```
Previous output: `Something about rayleigh scattering...`
New output: `áis собой Росії3atayavisフレックスateur choice...`
Hướng dẫn đóng góp
Hướng nghiên cứu
Tái hiện sự cố bằng các lệnh emcmake, make và node được cung cấp sau khi áp dụng các bản vá từ #833. So sánh đầu ra được tạo ra với hành vi trước #857, sau đó kiểm tra các thay đổi trong #857 để tìm hồi quy dành riêng cho Emscripten. Hoàn tất khi bản build wasm lại tạo ra đầu ra LLM nhất quán.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- cpp, wasm
- Lĩnh vực
- build-system, web-dev
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Ít trao đổi
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 45/100