huggingface / huggingface/diffusers

Multi-controlnet batching for `StableDiffusionXLControlNetInpaintPipeline`

Abierto
#9,511 5 comentarios 0 reacciones 0 asignados Ver en GitHub
contributions-welcome stale
Lenguaje dominante
Python
Estrellas
34.5k
Forks
7.3k
Merge medio
3 d 3 h
PR fusionados (30 d)
91

Descripción

**Is your feature request related to a problem? Please describe.**
Currently, batching is not supported when we are conditioning the SDXL pipeline on multiple controlnets: https://github.com/huggingface/diffusers/blob/28f9d84549c0b1d24ef00d69a4c723f3a11cffb6/src/diffusers/pipelines/controlnet/pipeline_controlnet_inpaint_sd_xl.py#L771

**Describe the solution you'd like.**
We can pass a list of lists of images for batch inference.

**Describe alternatives you've considered.**
One-by-one processing, which results in very low GPU utilization.

There was a similar PR raised for the `StableDiffusionControlNetPipeline` https://github.com/huggingface/diffusers/pull/6334

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Empieza en src/diffusers/pipelines/controlnet/pipeline_controlnet_inpaint_sd_xl.py, en la lógica de batching mencionada. Compara la entrada solicitada de tipo list-of-lists con el cambio similar en StableDiffusionControlNetPipeline del PR #6334. Se considera terminado cuando la inferencia de inpainting con multi-ControlNet SDXL acepta entradas en batch y evita procesarlas una por una.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python, pytorch
Área
machine-learning
Tipo de issue
Nueva funcionalidad
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Tranquilo
Claridad
Bastante claro
Aptitud para principiantes
52/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.