[Bug] 微调后的 qwen-vl-chat的模型，使用提供的方法量化成 INT4，显存占用没有下降

### Checklist

- [X] 1. I have searched related issues but cannot get the expected help.
- [X] 2. The bug has not been fixed in the latest version.

### Describe the bug

微调后的 qwen-vl-chat的模型，使用提供的方法量化成 INT4，推理时显存占用没有下降 , 未量化前占用 20G, 量化后占用 22G

### Reproduction

python38

### Environment

```Shell
cuda11.7 ATX4090 显卡 python38 torch2.2.2 lmdeploy 0.5.0
```

### Error traceback

_No response_