权重载入
Open
- Dominant language
- Python
- Stars
- 5.2k
- Forks
- 448
- Avg merge
- 3d 15h
- Merged PRs (30d)
- 26
Description
发现一个问题，因为微调为保存得到的是pt, 然后使用pth_to_hf后，保存为safetensor的形式，再多卡测试时载入，发现显存占用超过80g，但是将其保存为bin形式，每张卡显存均保持在30g，这是为什么呢，能否转换为hf的时候直接变成bin呢
Contributor guide
Assessment
This issue has not been assessed yet.