bigscience-workshop / bigscience-workshop/bigscience
Why is deepspeed enabled in the Bloom training script?
オープン
- 主要言語
- Shell
- スター
- 1k
- フォーク
- 102
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
Why is the value of Zero-State 0 when deepspeed is enabled in the Bloom training script? Can the Bloom model be trained and the loss curve is aligned when deepspeed is disabled? Thanks very much.
```shell
DEEPSPEED_ARGS=" \
--deepspeed \
--deepspeed_config ${config_json} \
--zero-stage ${ZERO_STAGE} \
--deepspeed-activation-checkpointing \
"
```
コントリビューションガイド
調査の方向性
Bloom のトレーニングスクリプトと、示されている DEEPSPEED_ARGS ブロックから始め、ZERO_STAGE と config_json がどのように設定されているかを調べ、DeepSpeed ありとなしの実行を比較します。報告されている Zero-State の値と、loss 曲線が一致しているかを検証し、その説明と結果を文書化します。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- shell
- 領域
- distributed-systems, machine-learning
- issue の種類
- ドキュメント
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100