[Feature] 建议官方在kaggle上使用lmdeploy完整安装资源开放一个公共笔记本用来展示lmdeploy的推理性能
Open
- Dominant language
- Python
- Stars
- 8.1k
- Forks
- 748
- Avg merge
- 6d 2h
- Merged PRs (30d)
- 54
Description
### Motivation
建议的目的与原因:
vllm之所以能够大火起来是因为aimo1 的比赛上冠军使用了vllm. 从此vllm进入了大众视野,成为了推理引擎的首选。
而直到昨天我才了解到lmdeploy竟然比vllm推理还快,这说明你们推广十分不到位。
因此我建议,你们官方使用开源的模型与开源的笔记本相同的方式展示你们的推理速度,方便用户直接使用。
模型可选DeepSeek-R1-Distill-Qwen-32B-awq 或者14b 或者Qwen/QwQ-32B-Preview 这两模型是开源在kaggle上能跑的最强模型,并且资源可以从其他笔记本里直接找到,不用下载上传
[aimo2比赛链接](https://www.kaggle.com/competitions/ai-mathematical-olympiad-progress-prize-2)
[建议的无程序辅助笔记本](https://www.kaggle.com/code/haoruili/lb24-deepseek-r1-with-more-prompt-engineering/notebook)
[建议的有程序辅助笔记本](https://www.kaggle.com/code/lephanminhdat/deep-learning-20)
@lvhan028
Contributor guide
Assessment
This issue has not been assessed yet.