bigscience-workshop / bigscience-workshop/bigscience
Why is deepspeed enabled in the Bloom training script?
- Lingua principale
- Shell
- Stelle
- 1k
- Fork
- 102
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
Why is the value of Zero-State 0 when deepspeed is enabled in the Bloom training script? Can the Bloom model be trained and the loss curve is aligned when deepspeed is disabled? Thanks very much.
```shell
DEEPSPEED_ARGS=" \
--deepspeed \
--deepspeed_config ${config_json} \
--zero-stage ${ZERO_STAGE} \
--deepspeed-activation-checkpointing \
"
```
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia dallo script di training di Bloom e dal blocco DEEPSPEED_ARGS mostrato; esamina come vengono impostati ZERO_STAGE e config_json e confronta le esecuzioni con e senza DeepSpeed. Verifica il valore di Zero-State riportato e se le curve della loss sono allineate, quindi documenta la spiegazione e i risultati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- shell
- Ambito
- distributed-systems, machine-learning
- Tipo di issue
- Documentazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100