huggingface / huggingface/diffusers

[Flux ControlNet] Add support for de-distilled models with CFG

オープン
#9,635 コメント 15 件 リアクション 0 件 担当者 0 名 GitHub で見る
contributions-welcome good first issue
主要言語
Python
スター
34.5k
フォーク
7.3k
平均マージ
3日 3時間
マージ済み PR(30日)
91

説明

Flux with Inpaiting and ControlNet currently yields bad result with the base model.

To echo [this comment](https://github.com/huggingface/diffusers/pull/9571#issuecomment-2404857656), using de-distilled models could potentially help getting better outputs.

Currently the Flux ControlNet pipelines do not support models like https://huggingface.co/nyanko7/flux-dev-de-distill

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず Flux ControlNet パイプライン、特に inpainting と ControlNet のパスを特定し、参照されている de-distilled モデルのサポートと、モデルの読み込みおよび CFG の処理を比較します。既存の Flux ControlNet ワークフローをモデル nyanko7/flux-dev-de-distill で実行します。完了の条件は、パイプラインがこのモデルを受け入れ、ベースモデルの動作を壊すことなく、有効で改善された出力を生成することです。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python, pytorch
領域
machine-learning
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
活発
明瞭さ
おおむね明確
初心者へのやさしさ
48/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。