huggingface / huggingface/diffusers
Support multiple control nets in the `StableDiffusionControlNetXSPipeline`/`StableDiffusionXLControlNetXSPipeline`
- Langage dominant
- Python
- Étoiles
- 34.5k
- Forks
- 7.3k
- Merge moyen
- 3 j 3 h
- PR mergées (30 j)
- 91
Description
**Is your feature request related to a problem? Please describe.**
The `StableDiffusionControlNetPipeline`/`StableDiffusionXLControlNetPipeline` allow you to specify a list of control nets (i.e. depth and canny)
However, the new `ControlNetXS` pipelines only allow you provide a single control net
**Describe the solution you'd like.**
I want to be able to do:
```python
vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
canny_controlnet = ControlNetXSAdapter.from_pretrained(
"UmerHA/Testing-ConrolNetXS-SDXL-canny", torch_dtype=torch.float16
)
depth_controlnet = ControlNetXSAdapter.from_pretrained(
"UmerHA/Testing-ConrolNetXS-SDXL-depth", torch_dtype=torch.float16
)
pipe = StableDiffusionXLControlNetXSPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", controlnet=[canny_controlnet, depth_controlnet], torch_dtype=torch.float16
)
```
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Commencez par les points d’entrée StableDiffusionControlNetXSPipeline et StableDiffusionXLControlNetXSPipeline, puis comparez leur gestion de control-net avec StableDiffusionControlNetPipeline et StableDiffusionXLControlNetPipeline. Le travail est considéré comme terminé lorsque les deux pipelines ControlNetXS acceptent une liste telle que canny et depth et prennent en charge l’utilisation présentée dans l’issue.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- python, pytorch
- Domaine
- ai, machine-learning
- Type d'issue
- Fonctionnalité
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- Active
- Clarté
- Plutôt claire
- Accessibilité débutants
- 55/100