huggingface / huggingface/diffusers
Multi-controlnet batching for `StableDiffusionXLControlNetInpaintPipeline`
- 主要言語
- Python
- スター
- 34.5k
- フォーク
- 7.3k
- 平均マージ
- 3日 3時間
- マージ済み PR(30日)
- 91
説明
**Is your feature request related to a problem? Please describe.**
Currently, batching is not supported when we are conditioning the SDXL pipeline on multiple controlnets: https://github.com/huggingface/diffusers/blob/28f9d84549c0b1d24ef00d69a4c723f3a11cffb6/src/diffusers/pipelines/controlnet/pipeline_controlnet_inpaint_sd_xl.py#L771
**Describe the solution you'd like.**
We can pass a list of lists of images for batch inference.
**Describe alternatives you've considered.**
One-by-one processing, which results in very low GPU utilization.
There was a similar PR raised for the `StableDiffusionControlNetPipeline` https://github.com/huggingface/diffusers/pull/6334
コントリビューションガイド
調査の方向性
src/diffusers/pipelines/controlnet/pipeline_controlnet_inpaint_sd_xl.py の参照されているバッチ処理ロジックから始めます。要求されている list-of-lists 入力を、PR #6334 の StableDiffusionControlNetPipeline に対する同様の変更と比較します。完了条件は、multi-ControlNet SDXL inpaint 推論がバッチ入力を受け付け、1 件ずつの処理を避けることです。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python, pytorch
- 領域
- machine-learning
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 静か
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 52/100