InternLM/lmdeploy
Vedi su GitHubLMDeploy is a toolkit for compressing, deploying, and serving LLMs.
- Stelle
- 8.1k
- Fork
- 748
- Issue aperte per principianti
- 0
- Issue indicizzate
- 546
- Merge medio
- 6g 2h
- PR unite (30g)
- 54
- Lingua principale
- Python
- Licenza
- Apache-2.0
- Ultimo push su GitHub
- 16/9/2026
- Ultima indicizzazione
- 17/9/2026
- Guida per i contributori
- Guida per i contributori
- Codice di condotta
- Nessun codice di condotta
- Label per principianti
- Nessuna label per principianti indicizzata
-
InternLM/lmdeploy#301 · 11 commenti · 0 reazioni · 1 assegnatario ·
-
backlog
InternLM/lmdeploy#322 · 5 commenti · 0 reazioni · 1 assegnatario ·
-
使用locust时发现的问题 Aperta
InternLM/lmdeploy#417 · 1 commento · 0 reazioni · 0 assegnatari ·
-
InternLM/lmdeploy#430 · 3 commenti · 0 reazioni · 0 assegnatari ·
-
backlog
InternLM/lmdeploy#476 · 1 commento · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#479 · 6 commenti · 0 reazioni · 1 assegnatario ·
-
[Bug] int4 awq kernel Aperta
InternLM/lmdeploy#498 · 0 commenti · 0 reazioni · 1 assegnatario ·
-
[Deploy Error] ValueError: If `eos_token_id` is defined, make sure that `pad_token_id` is defined. Aperta
InternLM/lmdeploy#522 · 3 commenti · 0 reazioni · 1 assegnatario ·
-
backlog
InternLM/lmdeploy#534 · 0 commenti · 0 reazioni · 0 assegnatari ·
-
InternLM/lmdeploy#565 · 1 commento · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#579 · 0 commenti · 0 reazioni · 1 assegnatario ·
-
精度损失很多 Aperta
InternLM/lmdeploy#617 · 4 commenti · 0 reazioni · 0 assegnatari ·
-
kv int8 量化， 能较少显存，吞吐基本没有提升？ Aperta
InternLM/lmdeploy#621 · 5 commenti · 0 reazioni · 0 assegnatari ·
-
backlog
InternLM/lmdeploy#638 · 4 commenti · 0 reazioni · 0 assegnatari ·
-
InternLM/lmdeploy#664 · 0 commenti · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#696 · 3 commenti · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#703 · 4 commenti · 0 reazioni · 1 assegnatario ·
-
backlog
InternLM/lmdeploy#704 · 0 commenti · 0 reazioni · 0 assegnatari ·
-
InternLM/lmdeploy#731 · 3 commenti · 0 reazioni · 1 assegnatario ·
-
backlog
InternLM/lmdeploy#750 · 5 commenti · 1 reazione · 1 assegnatario ·
-
InternLM/lmdeploy#815 · 9 commenti · 2 reazioni · 0 assegnatari ·
-
[Bug] 推理报错 Apertav100
InternLM/lmdeploy#868 · 4 commenti · 0 reazioni · 1 assegnatario ·
-
使用Qwen-7B 32K长度推理，不出结果（都是空） Aperta
InternLM/lmdeploy#883 · 4 commenti · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#890 · 0 commenti · 0 reazioni · 0 assegnatari ·
-
想请教怎么往kv cache中添加缓存信息 Aperta
InternLM/lmdeploy#994 · 2 commenti · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#1014 · 0 commenti · 0 reazioni · 1 assegnatario ·
-
[Docs] presence_penalty设置无效 Aperta
InternLM/lmdeploy#1046 · 5 commenti · 0 reazioni · 0 assegnatari ·
-
RFC
InternLM/lmdeploy#1065 · 5 commenti · 1 reazione · 0 assegnatari ·
-
internLM2 20B长本文部署后，调用接口异常 Aperta
InternLM/lmdeploy#1078 · 6 commenti · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#1109 · 11 commenti · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#1144 · 2 commenti · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#1150 · 3 commenti · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#1151 · 2 commenti · 0 reazioni · 1 assegnatario ·
-
微调后的模型回答带有很多重复[Bug] Aperta
InternLM/lmdeploy#1190 · 15 commenti · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#1224 · 1 commento · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#1261 · 1 commento · 0 reazioni · 0 assegnatari ·
-
InternLM/lmdeploy#1305 · 3 commenti · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#1327 · 2 commenti · 0 reazioni · 0 assegnatari ·
-
InternLM/lmdeploy#1342 · 2 commenti · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#1370 · 4 commenti · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#1398 · 3 commenti · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#1418 · 9 commenti · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#1449 · 3 commenti · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#1452 · 2 commenti · 0 reazioni · 0 assegnatari ·
-
[Feature] 支持Triton版本FA V2 Aperta
InternLM/lmdeploy#1454 · 1 commento · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#1460 · 0 commenti · 0 reazioni · 0 assegnatari ·
-
InternLM/lmdeploy#1489 · 1 commento · 1 reazione · 0 assegnatari ·
-
InternLM/lmdeploy#1504 · 2 commenti · 0 reazioni · 1 assegnatario ·
-
InternLM/lmdeploy#1509 · 5 commenti · 0 reazioni · 0 assegnatari ·
-
backlog
InternLM/lmdeploy#1514 · 8 commenti · 0 reazioni · 1 assegnatario ·