Akegarasu / Akegarasu/lora-scripts
早停策略机制,大量减少训练时间
未关闭
- 主要语言
- Python
- 星标
- 6.1k
- 派生
- 699
- PR 合并指标
- 30 天内没有已合并 PR
描述
您好,我是个lora训练爱好者,经常需要训练lora,在训练时偶尔会遇到一些问题,特别是随着训练轮数增加,越到后面轮数,lora收益越少,而我不能实时观测参数变化。
如果有可能,希望您在空闲时,能抽一点点时间在训练器里添加早停策略机制,比如:
- `best_loss`: 跟踪最佳损失值
- `epochs_no_improve`: 记录连续未改善的轮数
- `early_stop_epochs`: 允许连续不改善的最大轮数(例如设为5)
- `current_loss < 0.06`: 损失阈值(可调整)
当loss持续低于0.06且连续5轮无明显下降(波动<0.xxx)时,终止训练并保存最佳checkpoint,这样能极大节约训练时间。
一点小建议,谢谢。
贡献指南
这个仓库没有索引到贡献指南
评估
这个 Issue 还没有评估数据。