bigscience-workshop / bigscience-workshop/bigscience
Why is deepspeed enabled in the Bloom training script?
- Lenguaje dominante
- Shell
- Estrellas
- 1k
- Forks
- 102
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Descripción
Why is the value of Zero-State 0 when deepspeed is enabled in the Bloom training script? Can the Bloom model be trained and the loss curve is aligned when deepspeed is disabled? Thanks very much.
```shell
DEEPSPEED_ARGS=" \
--deepspeed \
--deepspeed_config ${config_json} \
--zero-stage ${ZERO_STAGE} \
--deepspeed-activation-checkpointing \
"
```
Guía de contribución
Línea de trabajo
Comienza con el script de entrenamiento de Bloom y el bloque DEEPSPEED_ARGS mostrado; inspecciona cómo se establecen ZERO_STAGE y config_json, y compara las ejecuciones con y sin DeepSpeed. Verifica el valor de Zero-State indicado y si las curvas de pérdida se alinean; después, documenta la explicación y los resultados.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- shell
- Área
- distributed-systems, machine-learning
- Tipo de issue
- Documentación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 25/100