allenai / allenai/molmo

grad_norm is too large

Aperta
#55 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
933
Fork
96
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

When I fine-tune on my own dataset, grad_norm becomes too large, reaching up to 1e6. Have any of you encountered this situation?

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.