Choosing Max Learning Rate for 1cycle Scheduling
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 30k
- Fork
- 13.1k
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
In the book, the author states that we choose the max learning rate for the 1cycle scheduling the same way as we choose the optimal learning rate i.e The optimal learning rate is a bit lower than the point at which the loss starts to shoot up(about `10` times lower).

This is the curve for the CIFAR10 dataset From Exercise 8f, the max rate is chosen to be `0.05`, Shoudnt it be `0.02` or less since the loss shoots back up at `0.2 `or the like? Or is it just a matter of tuning
Thanks
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Đánh giá
Issue này chưa được đánh giá.