huggingface / huggingface/diffusers

Difference between Controlnet inpainting for SD2 and SD3

Offen
#10,559 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
stale
Vorherrschende Sprache
Python
Sterne
34.5k
Forks
7.3k
Ø Merge
3 T. 3 Std.
Gemergte PRs (30 T.)
91

Beschreibung

Firstly great work with adding SD3 support on diffusers!

I was trying to run the SD3 controlnet inpainting script : [https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/controlnet_sd3/pipeline_stable_diffusion_3_controlnet_inpainting.py](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/controlnet_sd3/pipeline_stable_diffusion_3_controlnet_inpainting.py) and realized that its doesn't have the concept of an init_image like [https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/controlnet/pipeline_controlnet_inpaint.py](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/controlnet/pipeline_controlnet_inpaint.py).

I want to inpaint part of an image using a canny edge image (as my control). How would I do this in SD3?

Thanks in advance!

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Vergleiche src/diffusers/pipelines/controlnet_sd3/pipeline_stable_diffusion_3_controlnet_inpainting.py mit src/diffusers/pipelines/controlnet/pipeline_controlnet_inpaint.py und konzentriere dich darauf, wie init_image gehandhabt wird. Bestimme den erwarteten SD3-Workflow für die Kombination von Inpainting mit einem Canny-Kontrollbild, und definiere die für dieses Verhalten erforderliche Implementierung und Validierung.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, pytorch
Bereich
computer-vision, machine-learning
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.