deepseek-ai / deepseek-ai/DeepSeek-V2
HuggingFace中开源的代码似乎没有实现矩阵合并
Open
- Dominant language
- No language data
- Stars
- 5k
- Forks
- 550
- PR merge metrics
- No merged PRs in 30d
Description
作者好！我看了您在HuggingFace上开源的[代码](https://huggingface.co/deepseek-ai/DeepSeek-V2/blob/4461458f186c35188585855f28f77af5661ad489/modeling_deepseek.py#L862)，其中的注意力部分似乎没有实现论文中提到的Q、K映射矩阵合并（absorbed），想请教下这块内容具体是在哪进行了等效实现？
Contributor guide
No contributing guide indexed for this repository
Assessment
This issue has not been assessed yet.