huggingface / huggingface/diffusers
Difference between Controlnet inpainting for SD2 and SD3
- Vorherrschende Sprache
- Python
- Sterne
- 34.5k
- Forks
- 7.3k
- Ø Merge
- 3 T. 3 Std.
- Gemergte PRs (30 T.)
- 91
Beschreibung
Firstly great work with adding SD3 support on diffusers!
I was trying to run the SD3 controlnet inpainting script : [https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/controlnet_sd3/pipeline_stable_diffusion_3_controlnet_inpainting.py](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/controlnet_sd3/pipeline_stable_diffusion_3_controlnet_inpainting.py) and realized that its doesn't have the concept of an init_image like [https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/controlnet/pipeline_controlnet_inpaint.py](https://github.com/huggingface/diffusers/blob/main/src/diffusers/pipelines/controlnet/pipeline_controlnet_inpaint.py).
I want to inpaint part of an image using a canny edge image (as my control). How would I do this in SD3?
Thanks in advance!
Beitragsleitfaden
Rechercherichtung
Vergleiche src/diffusers/pipelines/controlnet_sd3/pipeline_stable_diffusion_3_controlnet_inpainting.py mit src/diffusers/pipelines/controlnet/pipeline_controlnet_inpaint.py und konzentriere dich darauf, wie init_image gehandhabt wird. Bestimme den erwarteten SD3-Workflow für die Kombination von Inpainting mit einem Canny-Kontrollbild, und definiere die für dieses Verhalten erforderliche Implementierung und Validierung.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python, pytorch
- Bereich
- computer-vision, machine-learning
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100