Zero_Stage=1 results in higher TFLOPS?

### Description

I am learning the chronicles_prequel, and I find the last table in the chapter indicates the higher TFLOPS is achieved with Zero_Stage = 1.
[Trying with ZeRO_STAGE=0/1](https://github.com/bigscience-workshop/bigscience/blob/master/train/tr11-176B-ml/chronicles-prequel.md#48-node-contenders)
Zero_stage=1 could reduce the memory cost, but how come it increases the performance with other parameter being the same?

Nodes | Size | ZS | DP | TP | PP | MBS | GBS | Mem | Sec/it | TFLOPs | Notes
-- | -- | -- | -- | -- | -- | -- | -- | -- | -- | -- | --
48 | 181B | 1 | 4 | 8 | 12 | 2 | 2048 | 37GB | 120.29 | 134.02 | 02-21
48 | 181B | 0 | 4 | 8 | 12 | 2 | 2048 | 72GB | 137.34 | 113.02 | 02-21

Beginnen Sie mit der Tabelle der 48-Node-Kandidaten in chronicles-prequel.md, die im Issue verlinkt ist, und vergleichen Sie die Zeilen zu Zero Stage 0 und 1 sowie deren aufgezeichnete Einstellungen. Ermitteln Sie, warum sich die gemeldeten TFLOPS trotz übereinstimmender Parameter unterscheiden, und präzisieren Sie anschließend die Erklärung oder korrigieren Sie die Dokumentation, damit das Ergebnis verständlich ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.