huggingface / huggingface/diffusers

Consistency training fails to converge

オープン
#8,277 コメント 6 件 リアクション 0 件 担当者 0 名 GitHub で見る
stale
主要言語
Python
スター
34.5k
フォーク
7.3k
平均マージ
3日 3時間
マージ済み PR(30日)
91

説明

**Consistency training fails to converge**
When I use examples/research_projects/consistency_training/train_cm_ct_unconditional.py to train the consistency model, I try to follow the experimental parameters of the original paper, but I cannot obtain normal generation results.

**Script**
```bash
python -m accelerate.commands.launch examples/research_projects/consistency_training/train_cm_ct_unconditional.py
--dataset_name="cifar10"
--dataset_image_column_name="img"
--output_dir="examples/research_projects/consistency_training/outputs_cifar10"
--resolution=32
--max_train_steps=400000
--dataloader_num_workers=8
--noise_precond_type="cm"
--input_precond_type="cm"
--train_batch_size=512
--gradient_accumulation_steps=2
--learning_rate=1e-04
--lr_scheduler="constant"
--lr_warmup_steps=0
--use_ema
--validation_steps=5000
--eval_batch_size=32
--checkpointing_steps=5000
--checkpoints_total_limit=10
--use_8bit_adam
--mixed_precision=fp16
--resume_from_checkpoint="latest"
```

**Generated results(step 400000)**
![step400000](https://github.com/huggingface/diffusers/assets/58554991/7b261e5e-c873-4462-97b7-808b2e471c38)

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

examples/research_projects/consistency_training/train_cm_ct_unconditional.py から始め、step-400000 の出力を含め、報告されたコマンドとパラメータを再現します。生成された結果を原論文で期待される挙動と比較し、非収束の原因を特定するためにトレーニング設定を追跡します。問題が説明され、スクリプトが正常な生成結果を出力するか、必要な修正が文書化されれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python, pytorch
領域
machine-learning
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。