huggingface / huggingface/diffusers

Some wrong in sd3's lora training script

オープン
#10,591 コメント 3 件 リアクション 1 件 担当者 0 名 GitHub で見る
bug stale
主要言語
Python
スター
34.5k
フォーク
7.3k
平均マージ
3日 3時間
マージ済み PR(30日)
91

説明

### Describe the bug

https://github.com/huggingface/diffusers/blob/e8aacda762e311505ba05ae340af23b149e37af3/examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py#L717

the transformer before accelerator.prepare should not convert to fp16 in mix precision;
it will broken the grad precision and result in worse training result

### Reproduction

see the "/examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py"

### Logs

```shell

```

### System Info

diffusers 0.31.0

### Who can help?

_No response_

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py の 717 行目付近から始め、そのスクリプトと diffusers 0.31.0 を使って問題を再現します。混合精度トレーニングで accelerator.prepare を実行する前の transformer の処理を確認します。勾配の精度が維持され、トレーニング結果がこれ以上悪化しなくなれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python, pytorch
領域
machine-learning
issue の種類
バグ
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
明確に書かれている
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。