deepseek-ai / deepseek-ai/DeepSeek-Coder
模型推理完成后怎么一直占用显存呢？
Open
- Dominant language
- Python
- Stars
- 24.3k
- Forks
- 2.9k
- PR merge metrics
- No merged PRs in 30d
Description
加载模型只占用14G显存，为什么推理完成后显存一直飙到27G，且一直不释放。使用torch.cuda.empty_cache()也没用。
1. 请问这是什么原因呢？
2. 模型会一直保存最后一轮对话的内容吗？
3. 怎么在每一轮对话后释放显存呢？
使用的模型是deepseek-coder-6.7b-instruct
Contributor guide
No contributing guide indexed for this repository
Assessment
This issue has not been assessed yet.