Akegarasu / Akegarasu/lora-scripts
早停策略机制,大量减少训练时间
Aperta
- Lingua principale
- Python
- Stelle
- 6.1k
- Fork
- 699
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
您好,我是个lora训练爱好者,经常需要训练lora,在训练时偶尔会遇到一些问题,特别是随着训练轮数增加,越到后面轮数,lora收益越少,而我不能实时观测参数变化。
如果有可能,希望您在空闲时,能抽一点点时间在训练器里添加早停策略机制,比如:
- `best_loss`: 跟踪最佳损失值
- `epochs_no_improve`: 记录连续未改善的轮数
- `early_stop_epochs`: 允许连续不改善的最大轮数(例如设为5)
- `current_loss < 0.06`: 损失阈值(可调整)
当loss持续低于0.06且连续5轮无明显下降(波动<0.xxx)时,终止训练并保存最佳checkpoint,这样能极大节约训练时间。
一点小建议,谢谢。
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Valutazione
Questa issue non è ancora stata valutata.