google / google/gemma.cpp

Abort / Assertion-error when loading gemma-3/gemmaCpp/3.0-1b-it-sfp

Đang mở
#726 2 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
C++
Star
7k
Fork
660
Merge trung bình
20 giờ 43 phút
Pull request đã merge (30 ngày)
33

Mô tả

With current `dev` (commit 684a0444e9bb6ddba53c361d87def055235ca387 (HEAD -> dev, origin/dev)) following the `Readme.md` using the bazel-based path:

### Gemma2: Looks ok
https://www.kaggle.com/models/google/gemma-2/gemmaCpp/2.0-9b-it-sfp

bazel-bin/gemma --tokenizer tokenizer.spm --weights 2.0-2b-it-sfp.sbs --prompt_file /mnt/c/Users/XXX/Desktop/llm_prompt.txt

1180131840 blob bytes (36.83%) of bf16
2024275968 blob bytes (63.17%) of sfp
normalizer.cc(52) LOG(INFO) precompiled_charsmap is empty. use identity normalization.

[ Reading prompt ] ......................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

[ Timing info ] Prefill: 24927 ms for 3829 prompt tokens (153.60 tokens / sec); Time to first token: 25039 ms
...

### Gemma3: Assertion error
https://www.kaggle.com/models/google/gemma-3/gemmaCpp/3.0-1b-it-sfp

bazel-bin/gemma --tokenizer tokenizer.spm.GEMMA3 --weights 1b-it-sfp.sbs.GEMMA3 --prompt_file /mnt/c/Users/XXX/Desktop/llm_prompt.txt

604248320 blob bytes (46.41%) of bf16
697761792 blob bytes (53.59%) of sfp
normalizer.cc(52) LOG(INFO) precompiled_charsmap is empty. use identity normalization.
Abort at weights.cc:454: Assert offset == range.End():

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Tái hiện lệnh Gemma3 từ issue bằng cách sử dụng đường dẫn dựa trên bazel được mô tả trong Readme.md, sau đó kiểm tra assertion tại weights.cc:454 và so sánh với việc tải Gemma2 thành công. Hoàn tất khi các trọng số Gemma3 được tải mà không gặp offset assertion và prompt command được nêu có thể tiếp tục bình thường.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
cpp
Lĩnh vực
machine-learning
Loại issue
Lỗi
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.