InternLM/lmdeploy
View on GitHubLMDeploy is a toolkit for compressing, deploying, and serving LLMs.
- Stars
- 8.1k
- Forks
- 748
- Open beginner issues
- 0
- Indexed issues
- 546
- Avg merge
- 6d 2h
- Merged PRs (30d)
- 54
- Dominant language
- Python
- License
- Apache-2.0
- Last GitHub push
- Sep 16, 2026
- Latest indexed
- Sep 17, 2026
- Contributing guide
- Contributing guide
- Code of conduct
- No code of conduct
- Beginner labels
- No beginner labels indexed
-
InternLM/lmdeploy#1794 · 6 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1796 · 14 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1801 · 9 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#1802 · 0 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#1804 · 3 comments · 0 reactions · 1 assignee ·
-
支持glm-4-9b吗 Open
InternLM/lmdeploy#1808 · 5 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1810 · 0 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#1813 · 10 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1817 · 1 comment · 1 reaction · 0 assignees ·
-
InternLM/lmdeploy#1819 · 13 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1826 · 25 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1827 · 0 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#1836 · 14 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1839 · 1 comment · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1840 · 5 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1847 · 2 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1849 · 4 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1863 · 2 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#1864 · 0 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#1866 · 6 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1868 · 2 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#1870 · 5 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#1872 · 1 comment · 1 reaction · 0 assignees ·
-
InternLM/lmdeploy#1879 · 3 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#1891 · 4 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#1893 · 6 comments · 0 reactions · 0 assignees ·
-
[Bug] Open
InternLM/lmdeploy#1894 · 5 comments · 0 reactions · 1 assignee ·
-
[Bug] CUDA runtime error: an illegal memory access was encountered when 8bit kv quant was enabled Open
InternLM/lmdeploy#1895 · 1 comment · 0 reactions · 1 assignee ·
-
[Bug] Using the turbomind engine, prompting more than 10k tokens will result in garbage output. Open
InternLM/lmdeploy#1896 · 21 comments · 0 reactions · 1 assignee ·
-
多轮对话批处理耗时异常 Open
InternLM/lmdeploy#1901 · 2 comments · 0 reactions · 0 assignees ·
-
请问什么时候会支持对CogVLM2的量化 Open
InternLM/lmdeploy#1902 · 3 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1915 · 4 comments · 0 reactions · 1 assignee ·
-
能否支持glm-4v-9b模型 Openplanned feature
InternLM/lmdeploy#1916 · 7 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1920 · 2 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1923 · 8 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1935 · 3 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1942 · 5 comments · 0 reactions · 2 assignees ·
-
InternLM/lmdeploy#1943 · 13 comments · 0 reactions · 2 assignees ·
-
InternLM/lmdeploy#1951 · 4 comments · 0 reactions · 1 assignee ·
-
backlog
InternLM/lmdeploy#1964 · 1 comment · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1980 · 3 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1990 · 4 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1991 · 6 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1992 · 19 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#1999 · 0 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#2001 · 13 comments · 0 reactions · 0 assignees ·
-
使用lmdeploy部署后模型返回空 Openv100
InternLM/lmdeploy#2006 · 6 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#2021 · 0 comments · 0 reactions · 0 assignees ·
-
InternLM/lmdeploy#2028 · 0 comments · 0 reactions · 1 assignee ·
-
InternLM/lmdeploy#2040 · 1 comment · 0 reactions · 0 assignees ·