huggingface / huggingface/diffusers

Some wrong in sd3's lora training script

Offen
#10,591 3 Kommentare 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen
bug stale
Vorherrschende Sprache
Python
Sterne
34.5k
Forks
7.3k
Ø Merge
3 T. 3 Std.
Gemergte PRs (30 T.)
91

Beschreibung

### Describe the bug

https://github.com/huggingface/diffusers/blob/e8aacda762e311505ba05ae340af23b149e37af3/examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py#L717

the transformer before accelerator.prepare should not convert to fp16 in mix precision;
it will broken the grad precision and result in worse training result

### Reproduction

see the "/examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py"

### Logs

```shell

```

### System Info

diffusers 0.31.0

### Who can help?

_No response_

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Start with examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py around line 717, then reproduce the issue using that script with diffusers 0.31.0. Check the transformer’s handling before accelerator.prepare in mixed-precision training; done means gradient precision is preserved and the training result no longer regresses.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, pytorch
Bereich
machine-learning
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Klar beschrieben
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.