huggingface / huggingface/diffusers
Suggestion to add TEs
- Vorherrschende Sprache
- Python
- Sterne
- 34.5k
- Forks
- 7.3k
- Ø Merge
- 3 T. 3 Std.
- Gemergte PRs (30 T.)
- 91
Beschreibung
### Did you like the remote VAE solution?
I do... it's helpful when training/finetuning models, makes the infrastructure easier to set up.
### What can be improved about the current solution?
Adding TEs would be very helpful for a complete solution for auxiliary model off-loading during training.
Consider caching, then it could further simplify model fine-tuning setups.
### What other VAEs you would like to see if the pilot goes well?
StepVideo VAE: https://huggingface.co/stepfun-ai/stepvideo-t2v/tree/main/vae
HunYuan CLIP (for Stepvideo): https://huggingface.co/stepfun-ai/stepvideo-t2v/tree/main/hunyuan_clip
TE for LuminaVision2: [Gemma-2-2B](https://huggingface.co/google/gemma-2-2b)
### Notify the members of the team
@hlky @sayakpaul
Beitragsleitfaden
Rechercherichtung
Das Issue nennt keine Dateien oder Tests; beginne damit, die vorhandene Remote-VAE-Lösung und ihre Einstiegspunkte für das Model-Offloading zu lokalisieren. Kläre den Umfang für das Hinzufügen der aufgeführten Text-Encoder und des Cachings, und ermittle dann die relevanten Tests zum Laden von Modellen; done sollte die vereinbarten zusätzlichen Modelle und das Caching-Verhalten abdecken.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python, pytorch
- Bereich
- ai, machine-learning
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100