allenai / allenai/olmes

Multi-worker evaluation fails: CUDA multiprocessing error

未关闭
#31 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Python
星标
395
派生
105
PR 合并指标
30 天内没有已合并 PR

描述

Hi, I used `--num-workers > 1` in evaluation, and it caused the evaluation to fail with:

```
Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the 'spawn' start method
```

I ran the following command to start evaluation:

```
olmes \
--model allenai/OLMo-2-0425-1B \
--revision stage1-step1907359-tokens4001B \
--model-args '{"trust_remote_code": true}' \
--task olmo3:base:math \
--batch-size 32 \
--num-workers 8 \
--output-dir outputs/OLMo-2-0425-1B-stage1-real_olmo3:base:math_01 \
--limit 0.1
```

Does your evaluation code support multi-worker evaluation?

贡献指南

这个仓库没有索引到贡献指南

评估

这个 Issue 还没有评估数据。

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。