bigscience-workshop / bigscience-workshop/bigscience
Why is deepspeed enabled in the Bloom training script?
- Langage dominant
- Shell
- Étoiles
- 1k
- Forks
- 102
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Description
Why is the value of Zero-State 0 when deepspeed is enabled in the Bloom training script? Can the Bloom model be trained and the loss curve is aligned when deepspeed is disabled? Thanks very much.
```shell
DEEPSPEED_ARGS=" \
--deepspeed \
--deepspeed_config ${config_json} \
--zero-stage ${ZERO_STAGE} \
--deepspeed-activation-checkpointing \
"
```
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Commencez par le script d’entraînement de Bloom et le bloc DEEPSPEED_ARGS présenté ; examinez comment ZERO_STAGE et config_json sont définis, et comparez les exécutions avec et sans DeepSpeed. Vérifiez la valeur de Zero-State indiquée et si les courbes de perte coïncident, puis documentez l’explication et les résultats.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- shell
- Domaine
- distributed-systems, machine-learning
- Type d'issue
- Documentation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 25/100