huggingface / huggingface/diffusers
Multi-controlnet batching for `StableDiffusionXLControlNetInpaintPipeline`
- Lenguaje dominante
- Python
- Estrellas
- 34.5k
- Forks
- 7.3k
- Merge medio
- 3 d 3 h
- PR fusionados (30 d)
- 91
Descripción
**Is your feature request related to a problem? Please describe.**
Currently, batching is not supported when we are conditioning the SDXL pipeline on multiple controlnets: https://github.com/huggingface/diffusers/blob/28f9d84549c0b1d24ef00d69a4c723f3a11cffb6/src/diffusers/pipelines/controlnet/pipeline_controlnet_inpaint_sd_xl.py#L771
**Describe the solution you'd like.**
We can pass a list of lists of images for batch inference.
**Describe alternatives you've considered.**
One-by-one processing, which results in very low GPU utilization.
There was a similar PR raised for the `StableDiffusionControlNetPipeline` https://github.com/huggingface/diffusers/pull/6334
Guía de contribución
Línea de trabajo
Empieza en src/diffusers/pipelines/controlnet/pipeline_controlnet_inpaint_sd_xl.py, en la lógica de batching mencionada. Compara la entrada solicitada de tipo list-of-lists con el cambio similar en StableDiffusionControlNetPipeline del PR #6334. Se considera terminado cuando la inferencia de inpainting con multi-ControlNet SDXL acepta entradas en batch y evita procesarlas una por una.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python, pytorch
- Área
- machine-learning
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Tranquilo
- Claridad
- Bastante claro
- Aptitud para principiantes
- 52/100