allenai / allenai/tango

Move `fairscale::with_wrapped_modules` logic to a separate argument in the trainer

Aperta
#270 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
572
Fork
55
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Rather than wrapping the model before passing it to the trainer. We want to do this because the `checkpoint_wrapper` in `with_wrapped_modules` creates a `weakref` for the wrapped modules, rendering the model unpicklable.

Guida per i contributori

Apri la guida per i contributori

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.