google / google/gemma.cpp

How to convert safetensors into sbs?

Đang mở
#533 4 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
C++
Star
7k
Fork
660
Merge trung bình
20 giờ 43 phút
Pull request đã merge (30 ngày)
33

Mô tả

I know it's an old question, but I still have no idea how to finish it.

I got some files after fine-tune and `merge_and_unload`, like below:

```
added_tokens.json config.json generation_config.json model.safetensors special_tokens_map.json
tokenizer.json tokenizer.model tokenizer_config.json
```

I only find the script `python/convert_from_safetensors.py`.
It seems to be created for PaliGemma only, but I still tried it with the error below:

```
python3 python/convert_from_safetensors.py --load_path /model/gemma-3-1b-finetune/merged_gemma/
I0401 15:06:34.645604 140119943138176 convert_from_safetensors.py:423] Restoring pure python logging
I0401 15:06:34.645855 140119943138176 convert_from_safetensors.py:429]
====
Reading from /model/gemma-3-1b-finetune/merged_gemma/ and writing to /tmp/gemmacpp.sbs
====
Traceback (most recent call last):
File "/model/gemma-3-1b-finetune/gemma.cpp/python/convert_from_safetensors.py", line 436, in
app.run(main)
File "/usr/local/lib/python3.11/site-packages/absl/app.py", line 316, in run
_run_main(main, args)
File "/usr/local/lib/python3.11/site-packages/absl/app.py", line 261, in _run_main
sys.exit(main(argv))
^^^^^^^^^^
File "/model/gemma-3-1b-finetune/gemma.cpp/python/convert_from_safetensors.py", line 432, in main
export_paligemma_sbs(load_path, metadata_file, sbs_file)
File "/model/gemma-3-1b-finetune/gemma.cpp/python/convert_from_safetensors.py", line 212, in export_paligemma_sbs
with safetensors.safe_open(file, framework="pt") as f:
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
OSError: No such device (os error 19)
```

Any suggest for the convert scripts?
Or maybe there is another fine-tune guide?

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu với python/convert_from_safetensors.py và lệnh gọi export_paligemma_sbs được hiển thị trong traceback. Kiểm tra cách script xử lý các tệp fine-tuning được cung cấp và tại sao safetensors.safe_open lại báo “No such device.”. Done cần xác định một quy trình chuyển đổi được hỗ trợ cho các tệp này hoặc ghi lại các đầu vào bắt buộc và các giới hạn.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
cpp, python
Lĩnh vực
machine-learning, tooling
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.