InternLM / InternLM/InternLM-XComposer
预训练放开vision encoder，效果很差
Open
- Dominant language
- Python
- Stars
- 2.9k
- Forks
- 175
- PR merge metrics
- No merged PRs in 30d
Description
模拟InternLM-XComposer2三阶段训练，在第一个预训练使用caption数据放开vision encoder、mlp_2x、plora的参数训练，训练多步后测试模型发现模型完全没有caotion能力，而且loss也比单独放开mlp_2x大很多，消融发现是vision encoder放开后提取图像信息能力变差了很多，请问我试验配置的有问题吗？如果放开vision encoder应该如何训练？另外有没有书生多模态大语言模型的交流群呢？
Contributor guide
No contributing guide indexed for this repository
Assessment
This issue has not been assessed yet.