huggingface / huggingface/diffusers
[Flux ControlNet] Add support for de-distilled models with CFG
オープン
contributions-welcome
good first issue
- 主要言語
- Python
- スター
- 34.5k
- フォーク
- 7.3k
- 平均マージ
- 3日 3時間
- マージ済み PR(30日)
- 91
説明
Flux with Inpaiting and ControlNet currently yields bad result with the base model.
To echo [this comment](https://github.com/huggingface/diffusers/pull/9571#issuecomment-2404857656), using de-distilled models could potentially help getting better outputs.
Currently the Flux ControlNet pipelines do not support models like https://huggingface.co/nyanko7/flux-dev-de-distill
コントリビューションガイド
調査の方向性
まず Flux ControlNet パイプライン、特に inpainting と ControlNet のパスを特定し、参照されている de-distilled モデルのサポートと、モデルの読み込みおよび CFG の処理を比較します。既存の Flux ControlNet ワークフローをモデル nyanko7/flux-dev-de-distill で実行します。完了の条件は、パイプラインがこのモデルを受け入れ、ベースモデルの動作を壊すことなく、有効で改善された出力を生成することです。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python, pytorch
- 領域
- machine-learning
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 活発
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 48/100