[Feature] 指定gpu
Open
- Dominant language
- Python
- Stars
- 8.1k
- Forks
- 748
- Avg merge
- 6d 2h
- Merged PRs (30d)
- 54
Description
### Motivation
设置环境变量来指定gpu的方式非常不灵活，特别是在python程序里。如离线推理需要用两个模型，分别使用不同的卡时。可能在某些情况下，os.environ["CUDA_VISIBLE_DEVICES"] 设置后，某些库可能会在环境变量生效之前被加载，导致最后加载模型不符合预期。
### Related resources
_No response_
### Additional context
_No response_
Contributor guide
Assessment
This issue has not been assessed yet.