huggingface / huggingface/diffusers

[examples/controlnet/train_controlnet_sd3.py] training SD3.5 large controlnets from stability

Offen
#11,068 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
stale
Vorherrschende Sprache
Python
Sterne
34.5k
Forks
7.3k
Ø Merge
3 T. 3 Std.
Gemergte PRs (30 T.)
91

Beschreibung

It is currently not possible to fine-tune controlnets for SD3.5 large from stability ai like stabilityai/stable-diffusion-3.5-large-controlnet-blur due to the handling of positional embeddings.

I have extended and testet the script accordingly since I need it for my use case. Would this be interesting and should I do a PR?

@sayakpaul

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Start with examples/controlnet/train_controlnet_sd3.py and compare its positional-embedding handling with stabilityai/stable-diffusion-3.5-large-controlnet-blur. Reproduce the SD3.5 Large fine-tuning path, then verify that the script supports the cited controlnet model without positional-embedding errors.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, pytorch
Bereich
machine-learning
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.