ai-forever / ai-forever/ru-gpts

AssertionError: model parallel group is not initialized

Abierto
#104 1 comentario 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
2.1k
Forks
433
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

```
Traceback (most recent call last):
File "D:\_ruGPT3\ru-gpts\run_gpt3medium.py", line 11, in
gpt = RuGPT3XL.from_pretrained("sber-gpt3-medium", seq_len=512)
File "D:\_ruGPT3\ru-gpts\src\xl_wrapper.py", line 178, in from_pretrained
mpu.model_parallel_cuda_manual_seed(seed)
File "D:\_ruGPT3\ru-gpts\src\mpu\random.py", line 217, in model_parallel_cuda_manual_seed
model_parallel_seed = offset + get_model_parallel_rank()
File "D:\_ruGPT3\ru-gpts\src\mpu\initialize.py", line 109, in get_model_parallel_rank
return torch.distributed.get_rank(group=get_model_parallel_group())
File "D:\_ruGPT3\ru-gpts\src\mpu\initialize.py", line 90, in get_model_parallel_group
assert _MODEL_PARALLEL_GROUP is not None, \
AssertionError: model parallel group is not initialized
```

Used "Usage" example code but with rugpt3-medium model. Os: windows 10, py 3.9, gpu: rtx 3060 laptop.

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.