bigscience-workshop / bigscience-workshop/bigscience

Why is deepspeed enabled in the Bloom training script?

Abierto
#71 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Shell
Estrellas
1k
Forks
102
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

Why is the value of Zero-State 0 when deepspeed is enabled in the Bloom training script? Can the Bloom model be trained and the loss curve is aligned when deepspeed is disabled? Thanks very much.

```shell
DEEPSPEED_ARGS=" \
--deepspeed \
--deepspeed_config ${config_json} \
--zero-stage ${ZERO_STAGE} \
--deepspeed-activation-checkpointing \
"
```

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza con el script de entrenamiento de Bloom y el bloque DEEPSPEED_ARGS mostrado; inspecciona cómo se establecen ZERO_STAGE y config_json, y compara las ejecuciones con y sin DeepSpeed. Verifica el valor de Zero-State indicado y si las curvas de pérdida se alinean; después, documenta la explicación y los resultados.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
shell
Área
distributed-systems, machine-learning
Tipo de issue
Documentación
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
25/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.