InternLM / InternLM/lmdeploy

[Feature] 建议官方在kaggle上使用lmdeploy完整安装资源开放一个公共笔记本用来展示lmdeploy的推理性能

Open
#3,098 10 comments 9 reactions 1 assignee Claimed by @lvhan028 View on GitHub
Dominant language
Python
Stars
8.1k
Forks
748
Avg merge
6d 2h
Merged PRs (30d)
54

Description

### Motivation

建议的目的与原因:
vllm之所以能够大火起来是因为aimo1 的比赛上冠军使用了vllm. 从此vllm进入了大众视野,成为了推理引擎的首选。
而直到昨天我才了解到lmdeploy竟然比vllm推理还快,这说明你们推广十分不到位。
因此我建议,你们官方使用开源的模型与开源的笔记本相同的方式展示你们的推理速度,方便用户直接使用。
模型可选DeepSeek-R1-Distill-Qwen-32B-awq 或者14b 或者Qwen/QwQ-32B-Preview 这两模型是开源在kaggle上能跑的最强模型,并且资源可以从其他笔记本里直接找到,不用下载上传
[aimo2比赛链接](https://www.kaggle.com/competitions/ai-mathematical-olympiad-progress-prize-2)
[建议的无程序辅助笔记本](https://www.kaggle.com/code/haoruili/lb24-deepseek-r1-with-more-prompt-engineering/notebook)
[建议的有程序辅助笔记本](https://www.kaggle.com/code/lephanminhdat/deep-learning-20)
@lvhan028

Contributor guide

Open the contributing guide

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.