Akegarasu / Akegarasu/lora-scripts

早停策略机制,大量减少训练时间

Abierto
#705 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
6.1k
Forks
699
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

您好,我是个lora训练爱好者,经常需要训练lora,在训练时偶尔会遇到一些问题,特别是随着训练轮数增加,越到后面轮数,lora收益越少,而我不能实时观测参数变化。
如果有可能,希望您在空闲时,能抽一点点时间在训练器里添加早停策略机制,比如:
- `best_loss`: 跟踪最佳损失值
- `epochs_no_improve`: 记录连续未改善的轮数
- `early_stop_epochs`: 允许连续不改善的最大轮数(例如设为5)
- `current_loss < 0.06`: 损失阈值(可调整)
当loss持续低于0.06且连续5轮无明显下降(波动<0.xxx)时,终止训练并保存最佳checkpoint,这样能极大节约训练时间。
一点小建议,谢谢。

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.