Akegarasu / Akegarasu/lora-scripts
早停策略机制,大量减少训练时间
Đang mở
- Ngôn ngữ chính
- Python
- Star
- 6.1k
- Fork
- 699
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
您好,我是个lora训练爱好者,经常需要训练lora,在训练时偶尔会遇到一些问题,特别是随着训练轮数增加,越到后面轮数,lora收益越少,而我不能实时观测参数变化。
如果有可能,希望您在空闲时,能抽一点点时间在训练器里添加早停策略机制,比如:
- `best_loss`: 跟踪最佳损失值
- `epochs_no_improve`: 记录连续未改善的轮数
- `early_stop_epochs`: 允许连续不改善的最大轮数(例如设为5)
- `current_loss < 0.06`: 损失阈值(可调整)
当loss持续低于0.06且连续5轮无明显下降(波动<0.xxx)时,终止训练并保存最佳checkpoint,这样能极大节约训练时间。
一点小建议,谢谢。
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Đánh giá
Issue này chưa được đánh giá.