bigscience-workshop / bigscience-workshop/bigscience

Why is deepspeed enabled in the Bloom training script?

オープン
#71 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Shell
スター
1k
フォーク
102
PR マージ指標
30日以内にマージされた PR はありません

説明

Why is the value of Zero-State 0 when deepspeed is enabled in the Bloom training script? Can the Bloom model be trained and the loss curve is aligned when deepspeed is disabled? Thanks very much.

```shell
DEEPSPEED_ARGS=" \
--deepspeed \
--deepspeed_config ${config_json} \
--zero-stage ${ZERO_STAGE} \
--deepspeed-activation-checkpointing \
"
```

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

Bloom のトレーニングスクリプトと、示されている DEEPSPEED_ARGS ブロックから始め、ZERO_STAGE と config_json がどのように設定されているかを調べ、DeepSpeed ありとなしの実行を比較します。報告されている Zero-State の値と、loss 曲線が一致しているかを検証し、その説明と結果を文書化します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
shell
領域
distributed-systems, machine-learning
issue の種類
ドキュメント
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。