Abort / Assertion-error when loading gemma-3/gemmaCpp/3.0-1b-it-sfp
- Ngôn ngữ chính
- C++
- Star
- 7k
- Fork
- 660
- Merge trung bình
- 20 giờ 43 phút
- Pull request đã merge (30 ngày)
- 33
Mô tả
With current `dev` (commit 684a0444e9bb6ddba53c361d87def055235ca387 (HEAD -> dev, origin/dev)) following the `Readme.md` using the bazel-based path:
### Gemma2: Looks ok
https://www.kaggle.com/models/google/gemma-2/gemmaCpp/2.0-9b-it-sfp
bazel-bin/gemma --tokenizer tokenizer.spm --weights 2.0-2b-it-sfp.sbs --prompt_file /mnt/c/Users/XXX/Desktop/llm_prompt.txt
1180131840 blob bytes (36.83%) of bf16
2024275968 blob bytes (63.17%) of sfp
normalizer.cc(52) LOG(INFO) precompiled_charsmap is empty. use identity normalization.
[ Reading prompt ] ......................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
[ Timing info ] Prefill: 24927 ms for 3829 prompt tokens (153.60 tokens / sec); Time to first token: 25039 ms
...
### Gemma3: Assertion error
https://www.kaggle.com/models/google/gemma-3/gemmaCpp/3.0-1b-it-sfp
bazel-bin/gemma --tokenizer tokenizer.spm.GEMMA3 --weights 1b-it-sfp.sbs.GEMMA3 --prompt_file /mnt/c/Users/XXX/Desktop/llm_prompt.txt
604248320 blob bytes (46.41%) of bf16
697761792 blob bytes (53.59%) of sfp
normalizer.cc(52) LOG(INFO) precompiled_charsmap is empty. use identity normalization.
Abort at weights.cc:454: Assert offset == range.End():
Hướng dẫn đóng góp
Hướng nghiên cứu
Tái hiện lệnh Gemma3 từ issue bằng cách sử dụng đường dẫn dựa trên bazel được mô tả trong Readme.md, sau đó kiểm tra assertion tại weights.cc:454 và so sánh với việc tải Gemma2 thành công. Hoàn tất khi các trọng số Gemma3 được tải mà không gặp offset assertion và prompt command được nêu có thể tiếp tục bình thường.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- cpp
- Lĩnh vực
- machine-learning
- Loại issue
- Lỗi
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100