huggingface / huggingface/diffusers

Allow user to pick which Text Encoders to train with SD3-Medium.

Aperta
#8,504 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub
stale
Lingua principale
Python
Stelle
34.5k
Fork
7.3k
Merge medio
3g 3h
PR unite (30g)
91

Descrizione

**Is your feature request related to a problem? Please describe.**
Kinda yes, it seems both training scripts for LoRA and Dreambooth load all 3 Text Encoders and Tokenizers which leads to high vram usage, 20GB on Rank 32 Lora, batch size 1, with AdamW8Bit

**Describe the solution you'd like.**
Allow users to train the Text Encoder(s) they want.

**Additional context.**
![imagen](https://github.com/huggingface/diffusers/assets/23042093/4e868144-2abd-43a4-9070-e68c0bb52e52)

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Start by locating the LoRA and Dreambooth training scripts for SD3-Medium and trace where all three Text Encoders and Tokenizers are loaded. Review the related training configuration and memory behavior first. Done means users can select which Text Encoder(s) to train while unselected encoders are not unnecessarily loaded, with coverage for the supported choices.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python, pytorch
Ambito
machine-learning
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
45/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.