huggingface / huggingface/diffusers

Suggestion to add TEs

Offen
#10,890 2 Kommentare 3 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
remote-vae wip
Vorherrschende Sprache
Python
Sterne
34.5k
Forks
7.3k
Ø Merge
3 T. 3 Std.
Gemergte PRs (30 T.)
91

Beschreibung

### Did you like the remote VAE solution?

I do... it's helpful when training/finetuning models, makes the infrastructure easier to set up.

### What can be improved about the current solution?

Adding TEs would be very helpful for a complete solution for auxiliary model off-loading during training.
Consider caching, then it could further simplify model fine-tuning setups.

### What other VAEs you would like to see if the pilot goes well?

StepVideo VAE: https://huggingface.co/stepfun-ai/stepvideo-t2v/tree/main/vae
HunYuan CLIP (for Stepvideo): https://huggingface.co/stepfun-ai/stepvideo-t2v/tree/main/hunyuan_clip
TE for LuminaVision2: [Gemma-2-2B](https://huggingface.co/google/gemma-2-2b)

### Notify the members of the team

@hlky @sayakpaul

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Das Issue nennt keine Dateien oder Tests; beginne damit, die vorhandene Remote-VAE-Lösung und ihre Einstiegspunkte für das Model-Offloading zu lokalisieren. Kläre den Umfang für das Hinzufügen der aufgeführten Text-Encoder und des Cachings, und ermittle dann die relevanten Tests zum Laden von Modellen; done sollte die vereinbarten zusätzlichen Modelle und das Caching-Verhalten abdecken.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, pytorch
Bereich
ai, machine-learning
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.