InternLM/lmdeploy
View on GitHubLMDeploy is a toolkit for compressing, deploying, and serving LLMs.
- Stars
- 8.1k
- Forks
- 748
- Open beginner issues
- 0
- Indexed issues
- 546
- Avg merge
- 6d 2h
- Merged PRs (30d)
- 54
- Dominant language
- Python
- License
- Apache-2.0
- Last GitHub push
- Sep 16, 2026
- Latest indexed
- Sep 17, 2026
- Contributing guide
- Contributing guide
- Code of conduct
- No code of conduct
- Beginner labels
- No beginner labels indexed
-
InternLM/lmdeploy#3293 · 5 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3294 · 4 comments · 1 reaction · 1 assignee ·
-
InternLM/lmdeploy#3300 · 2 comments · 0 reactions · 1 assignee ·
-
backlog
InternLM/lmdeploy#3301 · 1 comment · 0 reactions · 0 assignees ·
-
backlog
InternLM/lmdeploy#3306 · 2 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3308 · 9 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3309 · 2 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3312 · 2 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3314 · 3 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3318 · 8 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3324 · 4 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3325 · 1 comment · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3330 · 1 comment · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3331 · 0 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3339 · 7 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3341 · 1 comment · 0 reactions · 1 assignee ·
-
高并发推理效果变差的问题 Open
InternLM/lmdeploy#3344 · 2 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3354 · 24 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3361 · 1 comment · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3369 · 1 comment · 1 reaction · 1 assignee ·
-
InternLM/lmdeploy#3373 · 10 comments · 0 reactions · 1 assignee ·
-
[Bug] assert tp % num_key_value_heads == 0 AssertionError when using Qwen2.5-VL-7B-Instruct-AWQ Open
InternLM/lmdeploy#3391 · 0 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3395 · 2 comments · 0 reactions · 1 assignee ·
-
backlog
InternLM/lmdeploy#3397 · 0 comments · 0 reactions · 0 assignees ·
-
planned feature
InternLM/lmdeploy#3399 · 2 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3404 · 8 comments · 0 reactions · 1 assignee ·
-
backlog
InternLM/lmdeploy#3410 · 3 comments · 0 reactions · 0 assignees ·
-
backlog
InternLM/lmdeploy#3413 · 2 comments · 0 reactions · 0 assignees ·
-
backlog
InternLM/lmdeploy#3427 · 1 comment · 2 reactions · 0 assignees ·
-
InternLM/lmdeploy#3428 · 3 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3434 · 0 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3444 · 5 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3449 · 1 comment · 0 reactions · 1 assignee ·
-
[Bug] Open
InternLM/lmdeploy#3453 · 1 comment · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3456 · 0 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3457 · 2 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3459 · 2 comments · 0 reactions · 1 assignee ·
-
[Feature] 指定gpu Open
InternLM/lmdeploy#3464 · 0 comments · 1 reaction · 0 assignees ·
-
InternLM/lmdeploy#3473 · 0 comments · 0 reactions · 0 assignees ·
-
310P是否支持qwen2.5-vl Open
InternLM/lmdeploy#3483 · 2 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3485 · 1 comment · 0 reactions · 0 assignees ·
-
backlog
InternLM/lmdeploy#3497 · 1 comment · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3502 · 7 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3507 · 0 comments · 1 reaction · 0 assignees ·
-
InternLM/lmdeploy#3509 · 0 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3512 · 0 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3514 · 2 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#3516 · 0 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#3520 · 0 comments · 1 reaction · 0 assignees ·
-
InternLM/lmdeploy#3521 · 0 comments · 0 reactions · 1 assignee ·