kvcache-ai / kvcache-ai/ktransformers
在运行 kimik2think 模型时,发现增加专家数量(experts)对性能提升的效果存在瓶颈。
Open
enhancement
- Dominant language
- Python
- Stars
- 19.5k
- Forks
- 1.6k
- Avg merge
- 19h 32m
- Merged PRs (30d)
- 27
Description
### Reminder
- [x] I have read the above rules and searched the existing issues.
### Description
硬件配置对比:
RTX 5090: 32GB 显存
RTX Pro 6000: 96GB 显存
其他硬件配置是双路 8581C CPU,48GB*16 内存
使用命令运行 sgkt 服务,关键参数包括:
启用 AMXINT4 量化
使用 FlashAttention
关闭专家融合 (--disable-shared-experts-fusion)
单卡运行 (--tensor-parallel-size 1)
观察到的性能数据:
RTX 5090: 设置 --kt-num-gpu-experts 2 时,速度为 27 tks
RTX Pro 6000: 设置 --kt-num-gpu-experts 45 时,速度仅比 5090 快约 2 tks
基准对比: 从 0 专家到 2 专家,有 2 tks 的性能提升
核心疑问:
为什么在 Pro 6000 上,即使将专家数量从 2 增加到 45(提升 22.5 倍),性能提升却微乎其微(仅 2 tks)?是否存在配置优化空间,还是已经达到硬件性能瓶颈?
### Pull Request
_No response_
Contributor guide
Assessment
This issue has not been assessed yet.