huggingface / huggingface/diffusers

Analysis of Classifier-Free Guidance Weight Schedulers

オープン
#7,756 コメント 12 件 リアクション 4 件 担当者 0 名 GitHub で見る
consider-for-modular-diffusers stale
主要言語
Python
スター
34.5k
フォーク
7.3k
平均マージ
3日 3時間
マージ済み PR(30日)
91

説明

### Model/Pipeline/Scheduler description

The paper's authors performs an analysis and proposes 1 line change in order to make Classifier-Free Guidance looks better
![cfg](https://github.com/huggingface/diffusers/assets/23548268/95e6801a-d734-4a50-bfbc-1d48a224f248)

I personally run some test to confirm

**SD1.5 DDIM scheduler, 50 steps, "a photograph of an astronaut riding a horse", seed: 1024**
guidance scale: 7.5
static
![sd_default](https://github.com/huggingface/diffusers/assets/23548268/884f5b8b-60fb-4b9d-b680-e6a3d6a047ab)

linear (proposed)
![sd_default_linear](https://github.com/huggingface/diffusers/assets/23548268/7d3e70b4-7483-4857-a99a-5dbd522efc94)

guidance scale: 14.0
static
![sd_org](https://github.com/huggingface/diffusers/assets/23548268/f3059e37-c333-4383-a261-7563fe0f1b14)

linear (proposed)
![sd_linear](https://github.com/huggingface/diffusers/assets/23548268/f0cad0e6-4e58-4c32-8394-cb588b6f95d0)

### Open source status

- [ ] The model implementation is available.
- [ ] The model weights are available (Only relevant if addition is not a scheduler).

### Provide useful links for the implementation

Paper: https://arxiv.org/abs/2404.13040

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

リンクされた論文から始めて、DDIM scheduler のエントリーポイントを調査してください。issue ではファイルもテストも指定されていません。記載された SD1.5 の実験を再現し、その後、提案されている guidance weight の挙動に必要な scheduler の正確な変更と検証を明らかにしてください。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python, pytorch
領域
machine-learning
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。