测试速度问题

感谢您的工程。尝试使用VLMEvalKit库测试在垂直领域微调后的qwen2.5-vl系列模型，使用指令python run.py --data MMBench_DEV_EN --model Qwen2.5-VL-3B-Instruct --verbose，其中模型配置了本地的地址，每次单独测试1个未微调/微调的权重，发现推理速度特别慢，显示8张卡都有显存占用，但是sm绝大部分都是0，只有偶尔1个1的情况，显示时间估计要几十个小时。之后限定单张卡情况下，显示时间还缩短了1/3左右。

问题：
1.想问一下您这个可能是什么情况呢（之前在别的服务器上测试qwen2.5-vl-3b和使用molmo，速度都比较快，显示1个小时内）？
2.问一下您使用lmdeploy、vllm加速的时候，看到不同文档中有两种写法，可以选择启动服务或不启动，直接调用--use-vllm，这个一般建议使用哪一种呢？
3.问一下--api-nproc 是不是类似起到了多批次的效果？
4.llm那边使用opencompass测试多次重复实验的结果不一致，一般是怎么处理这个随机性呢？

Start with the run.py entry point and the documented --use-vllm and --api-nproc options, then compare the local Qwen2.5-VL evaluation path with the lmdeploy, vllm, and OpenCompass usage mentioned in the report. Done would require a reproducible explanation of the low GPU utilization and guidance on acceleration, parallelism, and repeatability.