bigscience-workshop / bigscience-workshop/bigscience
Why is deepspeed enabled in the Bloom training script?
- Vorherrschende Sprache
- Shell
- Sterne
- 1k
- Forks
- 102
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Why is the value of Zero-State 0 when deepspeed is enabled in the Bloom training script? Can the Bloom model be trained and the loss curve is aligned when deepspeed is disabled? Thanks very much.
```shell
DEEPSPEED_ARGS=" \
--deepspeed \
--deepspeed_config ${config_json} \
--zero-stage ${ZERO_STAGE} \
--deepspeed-activation-checkpointing \
"
```
Beitragsleitfaden
Rechercherichtung
Beginne mit dem Bloom-Trainingsskript und dem gezeigten DEEPSPEED_ARGS-Block; untersuche, wie ZERO_STAGE und config_json gesetzt werden, und vergleiche Läufe mit und ohne DeepSpeed. Überprüfe den angegebenen Zero-State-Wert und ob die Loss-Kurven übereinstimmen, und dokumentiere die Erklärung und die Ergebnisse.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- shell
- Bereich
- distributed-systems, machine-learning
- Issue-Typ
- Dokumentation
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100