huggingface / huggingface/diffusers

Support multiple control nets in the `StableDiffusionControlNetXSPipeline`/`StableDiffusionXLControlNetXSPipeline`

Ouverte
#8,434 12 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
community-examples contributions-welcome good first issue
Langage dominant
Python
Étoiles
34.5k
Forks
7.3k
Merge moyen
3 j 3 h
PR mergées (30 j)
91

Description

**Is your feature request related to a problem? Please describe.**
The `StableDiffusionControlNetPipeline`/`StableDiffusionXLControlNetPipeline` allow you to specify a list of control nets (i.e. depth and canny)

However, the new `ControlNetXS` pipelines only allow you provide a single control net

**Describe the solution you'd like.**
I want to be able to do:
```python
vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
canny_controlnet = ControlNetXSAdapter.from_pretrained(
"UmerHA/Testing-ConrolNetXS-SDXL-canny", torch_dtype=torch.float16
)
depth_controlnet = ControlNetXSAdapter.from_pretrained(
"UmerHA/Testing-ConrolNetXS-SDXL-depth", torch_dtype=torch.float16
)
pipe = StableDiffusionXLControlNetXSPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", controlnet=[canny_controlnet, depth_controlnet], torch_dtype=torch.float16
)
```

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par les points d’entrée StableDiffusionControlNetXSPipeline et StableDiffusionXLControlNetXSPipeline, puis comparez leur gestion de control-net avec StableDiffusionControlNetPipeline et StableDiffusionXLControlNetPipeline. Le travail est considéré comme terminé lorsque les deux pipelines ControlNetXS acceptent une liste telle que canny et depth et prennent en charge l’utilisation présentée dans l’issue.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python, pytorch
Domaine
ai, machine-learning
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
Active
Clarté
Plutôt claire
Accessibilité débutants
55/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.