InternLM/lmdeploy
View on GitHubLMDeploy is a toolkit for compressing, deploying, and serving LLMs.
- Stars
- 8.1k
- Forks
- 748
- Open beginner issues
- 0
- Indexed issues
- 546
- Avg merge
- 6d 2h
- Merged PRs (30d)
- 54
- Dominant language
- Python
- License
- Apache-2.0
- Last GitHub push
- Sep 16, 2026
- Latest indexed
- Sep 17, 2026
- Contributing guide
- Contributing guide
- Code of conduct
- No code of conduct
- Beginner labels
- No beginner labels indexed
-
InternLM/lmdeploy#3032 · 2 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3049 · 10 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3053 · 6 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3054 · 0 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3057 · 12 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3060 · 1 comment · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3062 · 1 comment · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3064 · 8 comments · 0 reactions · 1 assignee ·
-
[Bug] The program on the main graphics card gets stuck when running with multiple graphics cards. Open
InternLM/lmdeploy#3071 · 1 comment · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3082 · 1 comment · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3089 · 1 comment · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3091 · 0 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3092 · 1 comment · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3093 · 0 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3098 · 10 comments · 9 reactions · 1 assignee ·
-
InternLM/lmdeploy#3101 · 1 comment · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3107 · 4 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3111 · 1 comment · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3118 · 6 comments · 0 reactions · 2 assignees ·
-
InternLM/lmdeploy#3119 · 9 comments · 0 reactions · 2 assignees ·
-
InternLM/lmdeploy#3124 · 1 comment · 0 reactions · 1 assignee ·
-
backlog
InternLM/lmdeploy#3127 · 1 comment · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3128 · 4 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3131 · 8 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3138 · 4 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3143 · 14 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3144 · 13 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3145 · 1 comment · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3154 · 3 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3160 · 1 comment · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3167 · 2 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3169 · 0 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3182 · 2 comments · 0 reactions · 1 assignee ·
-
多轮对话的batch推理 Open
InternLM/lmdeploy#3184 · 1 comment · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3185 · 0 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3191 · 2 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3199 · 4 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3201 · 1 comment · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3211 · 1 comment · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3222 · 2 comments · 0 reactions · 1 assignee ·
-
[Bug]使用wsl的Ubuntu22.04系统，lmdeploy任何版本使用pytorch引擎部署，加载权重文件非常卡，单个权重文件(144s/it),32B-AWQ启动 一次需要10分钟 Open
InternLM/lmdeploy#3225 · 10 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3226 · 8 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3231 · 1 comment · 1 reaction · 1 assignee ·
-
是否支持VLM 输出logprobs Open
InternLM/lmdeploy#3243 · 9 comments · 0 reactions · 1 assignee ·
-
[Bug] Vulnerability Report: Code Injection Risk Due to Unsafe Usage of 'exec' and 'compile' in Code Open
InternLM/lmdeploy#3254 · 2 comments · 1 reaction · 1 assignee ·
-
InternLM/lmdeploy#3255 · 0 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3258 · 14 comments · 0 reactions · 1 assignee ·
-
backlog
InternLM/lmdeploy#3275 · 2 comments · 2 reactions · 1 assignee ·
-
backlog
InternLM/lmdeploy#3279 · 1 comment · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3284 · 5 comments · 0 reactions · 1 assignee ·