lmdeploy教程疑问 - KV Cache量化和W4A16量化怎么叠加？
Offen
- Vorherrschende Sprache
- Python
- Sterne
- 2k
- Forks
- 1.5k
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
[lmdeploy教程量化部分](https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md#3-%E6%A8%A1%E5%9E%8B%E9%87%8F%E5%8C%96) 分别介绍了如何做KV Cache量化和W4A16量化，两者结果都得到turbomind格式的模型。
但怎么把这两者结合起来？比如在KV Cache量化的结果上做W4A16量化。
`lmdeploy lite calibrate`和`lmdeploy lite auto_awq`都𣎴接受turbomind格式的模型，该如何去叠加？
另外，如果想把量化后的模型和别人共享，怎么把turbomind格式的转换成hugging face格式的？
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Bewertung
Dieses Issue wurde noch nicht bewertet.