huggingface / huggingface/diffusers

SD3.5-Controlnet-8b does not use encoder_hidden_states

Offen
#11,902 4 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
stale
Vorherrschende Sprache
Python
Sterne
34.5k
Forks
7.3k
Ø Merge
3 T. 3 Std.
Gemergte PRs (30 T.)
91

Beschreibung

In https://github.com/huggingface/diffusers/blob/main/examples/controlnet/train_controlnet_sd3.py#L1338
the encoder_hidden_states are set to prompt_embeds, which is incorrect if we are finetuning sd3.5-controlnet-8b since it does not use encoder_hidden_states as stated in https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/controlnets/controlnet_sd3.py#L406

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Start at examples/controlnet/train_controlnet_sd3.py around line 1338, then read the SD3 ControlNet implementation at src/diffusers/models/controlnets/controlnet_sd3.py around line 406. Compare the training call's inputs with the model's documented behavior for SD3.5-Controlnet-8b. Done means the training entry point no longer relies on an encoder_hidden_states input that this model does not use.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
machine-learning
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.