升级CUDA版本以支持Windows版本的flash-attention
Open
enhancement
- Dominant language
- Python
- Stars
- 421
- Forks
- 67
- PR merge metrics
- No merged PRs in 30d
Description
### 描述该功能
目前能编译出来的windows版本的flash-attention是依赖cu121+py310+torch2.1
而InternEvo又只依赖cu118，导致两个库冲突了，无法在windows上训练
未来会有计划升级到cu121吗？谢谢！
### 是否希望自己实现该功能？
- [ ] 我希望自己来实现这一功能，并向 InternLM 贡献代码！
Contributor guide
No contributing guide indexed for this repository
Assessment
This issue has not been assessed yet.