Akegarasu / Akegarasu/lora-scripts

早停策略机制,大量减少训练时间

Ouverte
#705 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Python
Étoiles
6.1k
Forks
699
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

您好,我是个lora训练爱好者,经常需要训练lora,在训练时偶尔会遇到一些问题,特别是随着训练轮数增加,越到后面轮数,lora收益越少,而我不能实时观测参数变化。
如果有可能,希望您在空闲时,能抽一点点时间在训练器里添加早停策略机制,比如:
- `best_loss`: 跟踪最佳损失值
- `epochs_no_improve`: 记录连续未改善的轮数
- `early_stop_epochs`: 允许连续不改善的最大轮数(例如设为5)
- `current_loss < 0.06`: 损失阈值(可调整)
当loss持续低于0.06且连续5轮无明显下降(波动<0.xxx)时,终止训练并保存最佳checkpoint,这样能极大节约训练时间。
一点小建议,谢谢。

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.