kvcache-ai / kvcache-ai/ktransformers

在运行 kimik2think 模型时,发现增加专家数量(experts)对性能提升的效果存在瓶颈。

Open
#1,637 1 comment 1 reaction 1 assignee Claimed by @ovowei View on GitHub
enhancement
Dominant language
Python
Stars
19.5k
Forks
1.6k
Avg merge
19h 32m
Merged PRs (30d)
27

Description

### Reminder

- [x] I have read the above rules and searched the existing issues.

### Description

硬件配置对比:

RTX 5090: 32GB 显存
RTX Pro 6000: 96GB 显存
其他硬件配置是双路 8581C CPU,48GB*16 内存

使用命令运行 sgkt 服务,关键参数包括:
启用 AMXINT4 量化
使用 FlashAttention
关闭专家融合 (--disable-shared-experts-fusion)
单卡运行 (--tensor-parallel-size 1)
观察到的性能数据:

RTX 5090: 设置 --kt-num-gpu-experts 2 时,速度为 27 tks
RTX Pro 6000: 设置 --kt-num-gpu-experts 45 时,速度仅比 5090 快约 2 tks
基准对比: 从 0 专家到 2 专家,有 2 tks 的性能提升
核心疑问:
为什么在 Pro 6000 上,即使将专家数量从 2 增加到 45(提升 22.5 倍),性能提升却微乎其微(仅 2 tks)?是否存在配置优化空间,还是已经达到硬件性能瓶颈?

### Pull Request

_No response_

Contributor guide

Open the contributing guide

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.