[Bug] 仅支持了GShard模式的MoE模型转huggingface
Open
bug
- Dominant language
- Python
- Stars
- 421
- Forks
- 67
- PR merge metrics
- No merged PRs in 30d
Description
### Describe the bug
1. 之前给出的脚本仅支持了GShard MoE训练的方式转化hf的脚本，但是如果用MegaBlock进行训练的话权重转换脚本就不适用了。
2. 仍然未提供已经训练好的Internevo的权重转换成internevo MoE权重的脚本。
### Environment
官方镜像
### Other information
_No response_
Contributor guide
No contributing guide indexed for this repository
Assessment
This issue has not been assessed yet.