deepseek-ai / deepseek-ai/Engram

能不能基于这个Engram推出一款适合个人笔记本/台式机的Deepseek终端版本

Open
#4 6 comments 0 reactions 0 assignees View on GitHub
Dominant language
Python
Stars
4.7k
Forks
359
PR merge metrics
No merged PRs in 30d

Description

看完这篇论文我的感觉就是:可以通过记忆的方式来减少推理计算的量。所以我想着下面2个问题:
1.是否可以通过这个engram来优化模型,减少一些层,就能减少推理计算量,从而拥有了适合个人电脑的deepseek终端版本?推理效果与现有相差不大,甚至弱一些都行。
2.是否可以进一步优化,比如,engram分为“已知”和“用户待定”来适应用户的一些特定上下文环境。

现在的deepseek版本还是不太适合终端,虽然说提供了本地部署的可能性,但是对一般用户来说,硬件基本很难符合其要求。希望deepseek的大神们推出一个适用于个人笔记本的版本。这里跪谢,也希望我的一点想法能对你们有所帮助!

Contributor guide

No contributing guide indexed for this repository

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.