3张特斯拉 P40 24G 报错，不加载模型。

可以进到顺利打开webui。 输入文字后报错。

RuntimeError: CUDA error: device-side assert triggered CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_BLOCKING=1.

后台看2张显卡没有任何负载， cudatool 11.6
操作系统 WIn11 + AnaConda，torch 1.13.1+cu116

使用streamlit加载。
streamlit run moss_web_demo_streamlit.py --server.port 8888 -- --model_name fnlp/moss-moon-003-sft --gpu 0,1

--gpu 0,1,2 1,2都试过无用，
Win系统无法运行量化模型。

cuda驱动和gpu信息均正常显示，能运行minigpt-4.说明显卡也无故障。

有谁知道怎么回事吗？

Start with moss_web_demo_streamlit.py and reproduce the failure using the reported Streamlit command, Windows 11, Anaconda, torch 1.13.1+cu116, and the fnlp/moss-moon-003-sft model. Check the CUDA device-side assert and GPU-selection behavior for --gpu 0,1 and --gpu 0,1,2; done means the model loads and accepts text without the reported error.