How to convert safetensors into sbs?
- Ngôn ngữ chính
- C++
- Star
- 7k
- Fork
- 660
- Merge trung bình
- 20 giờ 43 phút
- Pull request đã merge (30 ngày)
- 33
Mô tả
I know it's an old question, but I still have no idea how to finish it.
I got some files after fine-tune and `merge_and_unload`, like below:
```
added_tokens.json config.json generation_config.json model.safetensors special_tokens_map.json
tokenizer.json tokenizer.model tokenizer_config.json
```
I only find the script `python/convert_from_safetensors.py`.
It seems to be created for PaliGemma only, but I still tried it with the error below:
```
python3 python/convert_from_safetensors.py --load_path /model/gemma-3-1b-finetune/merged_gemma/
I0401 15:06:34.645604 140119943138176 convert_from_safetensors.py:423] Restoring pure python logging
I0401 15:06:34.645855 140119943138176 convert_from_safetensors.py:429]
====
Reading from /model/gemma-3-1b-finetune/merged_gemma/ and writing to /tmp/gemmacpp.sbs
====
Traceback (most recent call last):
File "/model/gemma-3-1b-finetune/gemma.cpp/python/convert_from_safetensors.py", line 436, in
app.run(main)
File "/usr/local/lib/python3.11/site-packages/absl/app.py", line 316, in run
_run_main(main, args)
File "/usr/local/lib/python3.11/site-packages/absl/app.py", line 261, in _run_main
sys.exit(main(argv))
^^^^^^^^^^
File "/model/gemma-3-1b-finetune/gemma.cpp/python/convert_from_safetensors.py", line 432, in main
export_paligemma_sbs(load_path, metadata_file, sbs_file)
File "/model/gemma-3-1b-finetune/gemma.cpp/python/convert_from_safetensors.py", line 212, in export_paligemma_sbs
with safetensors.safe_open(file, framework="pt") as f:
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
OSError: No such device (os error 19)
```
Any suggest for the convert scripts?
Or maybe there is another fine-tune guide?
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu với python/convert_from_safetensors.py và lệnh gọi export_paligemma_sbs được hiển thị trong traceback. Kiểm tra cách script xử lý các tệp fine-tuning được cung cấp và tại sao safetensors.safe_open lại báo “No such device.”. Done cần xác định một quy trình chuyển đổi được hỗ trợ cho các tệp này hoặc ghi lại các đầu vào bắt buộc và các giới hạn.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- cpp, python
- Lĩnh vực
- machine-learning, tooling
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100