ageron / ageron/handson-ml2

Choosing Max Learning Rate for 1cycle Scheduling

Đang mở
#289 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Jupyter Notebook
Star
30k
Fork
13.1k
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

In the book, the author states that we choose the max learning rate for the 1cycle scheduling the same way as we choose the optimal learning rate i.e The optimal learning rate is a bit lower than the point at which the loss starts to shoot up(about `10` times lower).

![image](https://user-images.githubusercontent.com/45713796/95977956-257ef700-0e37-11eb-998a-524fe5b697f0.png)
This is the curve for the CIFAR10 dataset From Exercise 8f, the max rate is chosen to be `0.05`, Shoudnt it be `0.02` or less since the loss shoots back up at `0.2 `or the like? Or is it just a matter of tuning

Thanks

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.