deepseek-ai / deepseek-ai/DeepSeek-OCR

5070ti laptop wsl2跑起来了

Open
#238 7 comments 1 reaction 0 assignees View on GitHub
Dominant language
Python
Stars
23.9k
Forks
2.2k
PR merge metrics
No merged PRs in 30d

Description

(1)vllm要自己编译,用0.8.5版本,因为deepseekocr用了v0引擎,而我找了最后一个支持v0的版本0.9.2也提示语法不支持
(2)torch要用支持50系显卡的nightly版本cu128的,从cu128才支持50系显卡(我用的是torch2.10.0.dev20251104+cu128,torchaudio2.10.0.dev20251104+cu128,torchvision0.25.0.dev20251103+cu128),这个版本每天都更新所以torch torchvision和torchaudio最好一起装。xformers也要最新版,之前是自己编译的后来发现预编译的也能用xformers0.0.33.dev20251104+cu128。
(3)wsl要装wsl专用的cuda,不能用anaconda自带的那个必须要单独装完整版cuda,然后把这几个环境变量加上:
export PATH=/usr/local/cuda-12.8/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.8/targets/x86_64-linux/lib:$LD_LIBRARY_PATH
export CUDA_PATH=/usr/local/cuda-12.8
export LD_LIBRARY_PATH=/usr/lib/wsl/lib:$LD_LIBRARY_PATH
最后一个是针对wsl的千万不能忘了。
(4)因为vllm官方依赖是2.7.0的torch所以直接编译装会自动给你换成2.7.0的编译命令要用pip install . --no-build-isolation --no-deps,然后再手动把缺的依赖补上。pip会红字提示要求2.7.0的torch这个不用管。

Contributor guide

No contributing guide indexed for this repository

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.