huggingface / huggingface/diffusers
[Modular] support group offloading in auto offloading
Offen
#14,346
0 Kommentare
0 Reaktionen
2 zugewiesene Personen
Beansprucht von @sayakpaul
Auf GitHub ansehen
- Vorherrschende Sprache
- Python
- Sterne
- 34.5k
- Forks
- 7.3k
- Ø Merge
- 3 T. 3 Std.
- Gemergte PRs (30 T.)
- 91
Beschreibung
Follow-up to #14304.
`enable_auto_cpu_offload` recommends group offloading for a model that OOMs with everything else already offloaded ("it does not fit on the device by itself"). but currently we cannot use group offloading and auto offloading togehter, should add support once #14304 is in
Beitragsleitfaden
Bewertung
Dieses Issue wurde noch nicht bewertet.