[Bug] "cos_cached" shape incorrect error.

### Checklist

- [ ] 1. I have searched related issues but cannot get the expected help.
- [ ] 2. The bug has not been fixed in the latest version.

### Describe the bug

我使用的lmdeploy的版本是v0.0.12，transformers的版本为4.35.0的时候会报错，报错如下：
将transformers版本downgrade为4.34.1错误消失。

### Reproduction

### 第一步
srun -p $PARTITION python3 -m lmdeploy.lite.apis.calibrate
--model $HF_MODEL
--calib_dataset 'c4'
--calib_samples 128
--calib_seqlen 2048
--work_dir $WORK_DIR
### 第二步
srun -p $PARTITION python3 -m lmdeploy.lite.apis.auto_awq
--model $HF_MODEL
--w_bits 4
--w_group_size 128
--work_dir $WORK_DIR

### Environment

```Shell
cuda 11.2
torch 2.1.0
triton 2.1.0
```

### Error traceback

_No response_