bigscience-workshop / bigscience-workshop/bigscience
Zero_Stage=1 results in higher TFLOPS?
- Lingua principale
- Shell
- Stelle
- 1k
- Fork
- 102
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
### Description
I am learning the chronicles_prequel, and I find the last table in the chapter indicates the higher TFLOPS is achieved with Zero_Stage = 1.
[Trying with ZeRO_STAGE=0/1](https://github.com/bigscience-workshop/bigscience/blob/master/train/tr11-176B-ml/chronicles-prequel.md#48-node-contenders)
Zero_stage=1 could reduce the memory cost, but how come it increases the performance with other parameter being the same?
Nodes | Size | ZS | DP | TP | PP | MBS | GBS | Mem | Sec/it | TFLOPs | Notes
-- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | --
48 | 181B | 1 | 4 | 8 | 12 | 2 | 2048 | 37GB | 120.29 | 134.02 | 02-21
48 | 181B | 0 | 4 | 8 | 12 | 2 | 2048 | 72GB | 137.34 | 113.02 | 02-21
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Iniziate dalla tabella dei candidati a 48 nodi in chronicles-prequel.md, collegata dall’issue, e confrontate le righe Zero Stage 0 e 1 e le relative impostazioni registrate. Determinate perché i TFLOPS riportati differiscono nonostante i parametri corrispondano, quindi chiarite la spiegazione o correggete la documentazione in modo che il risultato sia comprensibile.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Ambito
- documentation, machine-learning, performance
- Tipo di issue
- Documentazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100