huggingface / huggingface/diffusers
SD3.5-Controlnet-8b does not use encoder_hidden_states
- Lingua principale
- Python
- Stelle
- 34.5k
- Fork
- 7.3k
- Merge medio
- 3g 3h
- PR unite (30g)
- 91
Descrizione
In https://github.com/huggingface/diffusers/blob/main/examples/controlnet/train_controlnet_sd3.py#L1338
the encoder_hidden_states are set to prompt_embeds, which is incorrect if we are finetuning sd3.5-controlnet-8b since it does not use encoder_hidden_states as stated in https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/controlnets/controlnet_sd3.py#L406
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Start at examples/controlnet/train_controlnet_sd3.py around line 1338, then read the SD3 ControlNet implementation at src/diffusers/models/controlnets/controlnet_sd3.py around line 406. Compare the training call's inputs with the model's documented behavior for SD3.5-Controlnet-8b. Done means the training entry point no longer relies on an encoder_hidden_states input that this model does not use.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- machine-learning
- Tipo di issue
- Bug
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 45/100