bigscience-workshop / bigscience-workshop/bigscience

Zero_Stage=1 results in higher TFLOPS?

Aperta
#48 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Shell
Stelle
1k
Fork
102
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

### Description

I am learning the chronicles_prequel, and I find the last table in the chapter indicates the higher TFLOPS is achieved with Zero_Stage = 1.
[Trying with ZeRO_STAGE=0/1](https://github.com/bigscience-workshop/bigscience/blob/master/train/tr11-176B-ml/chronicles-prequel.md#48-node-contenders)
Zero_stage=1 could reduce the memory cost, but how come it increases the performance with other parameter being the same?

Nodes | Size | ZS | DP | TP | PP | MBS | GBS | Mem | Sec/it | TFLOPs | Notes
-- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | --
48 | 181B | 1 | 4 | 8 | 12 | 2 | 2048 | 37GB | 120.29 | 134.02 | 02-21
48 | 181B | 0 | 4 | 8 | 12 | 2 | 2048 | 72GB | 137.34 | 113.02 | 02-21

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Iniziate dalla tabella dei candidati a 48 nodi in chronicles-prequel.md, collegata dall’issue, e confrontate le righe Zero Stage 0 e 1 e le relative impostazioni registrate. Determinate perché i TFLOPS riportati differiscono nonostante i parametri corrispondano, quindi chiarite la spiegazione o correggete la documentazione in modo che il risultato sia comprensibile.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Ambito
documentation, machine-learning, performance
Tipo di issue
Documentazione
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.