allenai / allenai/olmes

Multi-worker evaluation fails: CUDA multiprocessing error

Abierto
#31 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
395
Forks
105
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

Hi, I used `--num-workers > 1` in evaluation, and it caused the evaluation to fail with:

```
Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the 'spawn' start method
```

I ran the following command to start evaluation:

```
olmes \
--model allenai/OLMo-2-0425-1B \
--revision stage1-step1907359-tokens4001B \
--model-args '{"trust_remote_code": true}' \
--task olmo3:base:math \
--batch-size 32 \
--num-workers 8 \
--output-dir outputs/OLMo-2-0425-1B-stage1-real_olmo3:base:math_01 \
--limit 0.1
```

Does your evaluation code support multi-worker evaluation?

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.