Move `fairscale::with_wrapped_modules` logic to a separate argument in the trainer
Aperta
- Lingua principale
- Python
- Stelle
- 572
- Fork
- 55
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
Rather than wrapping the model before passing it to the trainer. We want to do this because the `checkpoint_wrapper` in `with_wrapped_modules` creates a `weakref` for the wrapped modules, rendering the model unpicklable.
Guida per i contributori
Apri la guida per i contributori
Valutazione
Questa issue non è ancora stata valutata.