huggingface / huggingface/diffusers
Some wrong in sd3's lora training script
- 主要言語
- Python
- スター
- 34.5k
- フォーク
- 7.3k
- 平均マージ
- 3日 3時間
- マージ済み PR(30日)
- 91
説明
### Describe the bug
https://github.com/huggingface/diffusers/blob/e8aacda762e311505ba05ae340af23b149e37af3/examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py#L717
the transformer before accelerator.prepare should not convert to fp16 in mix precision;
it will broken the grad precision and result in worse training result
### Reproduction
see the "/examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py"
### Logs
```shell
```
### System Info
diffusers 0.31.0
### Who can help?
_No response_
コントリビューションガイド
調査の方向性
まず examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py の 717 行目付近から始め、そのスクリプトと diffusers 0.31.0 を使って問題を再現します。混合精度トレーニングで accelerator.prepare を実行する前の transformer の処理を確認します。勾配の精度が維持され、トレーニング結果がこれ以上悪化しなくなれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python, pytorch
- 領域
- machine-learning
- issue の種類
- バグ
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 活発さ
- 停滞
- 明瞭さ
- 明確に書かれている
- 初心者へのやさしさ
- 45/100