deepseek-ai / deepseek-ai/DeepSeek-OCR
5070ti laptop wsl2跑起来了
- Dominant language
- Python
- Stars
- 23.9k
- Forks
- 2.2k
- PR merge metrics
- No merged PRs in 30d
Description
(1)vllm要自己编译,用0.8.5版本,因为deepseekocr用了v0引擎,而我找了最后一个支持v0的版本0.9.2也提示语法不支持
(2)torch要用支持50系显卡的nightly版本cu128的,从cu128才支持50系显卡(我用的是torch2.10.0.dev20251104+cu128,torchaudio2.10.0.dev20251104+cu128,torchvision0.25.0.dev20251103+cu128),这个版本每天都更新所以torch torchvision和torchaudio最好一起装。xformers也要最新版,之前是自己编译的后来发现预编译的也能用xformers0.0.33.dev20251104+cu128。
(3)wsl要装wsl专用的cuda,不能用anaconda自带的那个必须要单独装完整版cuda,然后把这几个环境变量加上:
export PATH=/usr/local/cuda-12.8/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.8/targets/x86_64-linux/lib:$LD_LIBRARY_PATH
export CUDA_PATH=/usr/local/cuda-12.8
export LD_LIBRARY_PATH=/usr/lib/wsl/lib:$LD_LIBRARY_PATH
最后一个是针对wsl的千万不能忘了。
(4)因为vllm官方依赖是2.7.0的torch所以直接编译装会自动给你换成2.7.0的编译命令要用pip install . --no-build-isolation --no-deps,然后再手动把缺的依赖补上。pip会红字提示要求2.7.0的torch这个不用管。
Contributor guide
No contributing guide indexed for this repository
Assessment
This issue has not been assessed yet.