deepseek ocr 在5080显卡上在windows成功wsl上跑起来,给一些经验

因为50系显卡需要使用cuda12.8.但是vlm0.8.5使用的cuda很旧.我试了很多方法,最终跑起来
几个经验点
1.vllm一定要用0.8.5版本,我使用的0.11版本不行,所以需要自行编译vllm,
而且编译vllm,编译vllm注意.
checkout vllm项目,然后把所有torch2.6全部改成torch2.8,torch2.8需要是用cuda128的版本,可以直接从torch官网pip下来
编译过程中遇到文件,可以加入这个
export MAX_JOBS=6

2,编译完后直接在deepseek目录下边用pip install生成的whl包

正常情况下,可以运行了,准备尝试制作一个一体包

3.另外国内尽量使用梯子去下载huggingface那些模型,不要用hfmirror,我直接用mirror不能成功运行

我自己编译了一个2.8的版本,50系列显卡可以直接使用
https://github.com/netren/vllm0.8.5-for-deepseek-ocr/releases/tag/v0.8.5_torch2.8_cuda128