bigscience-workshop / bigscience-workshop/bigscience
Why is deepspeed enabled in the Bloom training script?
- Ngôn ngữ chính
- Shell
- Star
- 1k
- Fork
- 102
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
Why is the value of Zero-State 0 when deepspeed is enabled in the Bloom training script? Can the Bloom model be trained and the loss curve is aligned when deepspeed is disabled? Thanks very much.
```shell
DEEPSPEED_ARGS=" \
--deepspeed \
--deepspeed_config ${config_json} \
--zero-stage ${ZERO_STAGE} \
--deepspeed-activation-checkpointing \
"
```
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu với script huấn luyện Bloom và khối DEEPSPEED_ARGS được hiển thị; kiểm tra cách thiết lập ZERO_STAGE và config_json, rồi so sánh các lần chạy có và không có DeepSpeed. Xác minh giá trị Zero-State được báo cáo và xem các đường cong loss có khớp nhau hay không, sau đó ghi lại phần giải thích và kết quả.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- shell
- Lĩnh vực
- distributed-systems, machine-learning
- Loại issue
- Tài liệu
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100