deepseek v2 lite 模型 convert 时 print_on_rank0() 报错
Open
- Dominant language
- Python
- Stars
- 5.2k
- Forks
- 448
- Avg merge
- 3d 15h
- Merged PRs (30d)
- 26
Description
如题,moe模型 convert的时候有 xtuner/xtuner/utils/handle_moe_load_and_save.py 参与
其中的 print_on_rank0 函数有
```python
def print_on_rank0(info):
if dist.get_rank() == 0:
print_log(info, 'current')
```
涉及多卡初始化,但是convert的时候实际没有多卡初始化,因此会报错。
建议修改一下代码,区分一下convert时直接print而不是判断rank
Contributor guide
Assessment
This issue has not been assessed yet.