以原精度运行M2.1时占用内存异常，达到366G

### Reminder

- [x] I have read the above rules and searched the existing issues.

### System Info

GPU: 4080 32G
MEM: 384GB
CPU: 8461V*1

KT版本: 0.5.0 commit: 63796374c110e14464c5540324a21a658c5f1cf8
sglang: kvcache-ai/sglang.git main分支 eaf832efc2ecbdd0b12f691fdf2608d4baf5b3c5
cuda版本: 12.6

### Reproduction

### 启动命令：
```shell
CUDA_VISIBLE_DEVICES=0 python3 -m sglang.launch_server --host 0.0.0.0 --port 6399 --model /models/MiniMax/MiniMax-M2.1 --kt-weight-path /models/MiniMax/MiniMax-M2.1 --kt-cpuinfer 46 --kt-threadpool-count 1 --kt-num-gpu-experts 2 --kt-method FP8 --kt-gpu-prefill-token-threshold 100 --attention-backend flashinfer --trust-remote-code --mem-fraction-static 0.98 --chunked-prefill-size 32768 --max-running-requests 1 --max-total-tokens 65535 --served-model-name MiniMax-M2 --disable-shared-experts-fusion --tool-call-parser minimax-m2 --reasoning-parser minimax-append-think
```
### 异常描述
服务启动后，使用htop查看内存占用，发现sglang进程占用内存达到366G，远超模型大小。
且确认在停止服务后，内存占用为0.3%，因此可确认没有其他进程占用内存，确实是sglang占用。

### 预期现象
预期占用应当在240G左右

### Others

_No response_