huggingface / huggingface/diffusers
Some wrong in sd3's lora training script
- Lingua principale
- Python
- Stelle
- 34.5k
- Fork
- 7.3k
- Merge medio
- 3g 3h
- PR unite (30g)
- 91
Descrizione
### Describe the bug
https://github.com/huggingface/diffusers/blob/e8aacda762e311505ba05ae340af23b149e37af3/examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py#L717
the transformer before accelerator.prepare should not convert to fp16 in mix precision;
it will broken the grad precision and result in worse training result
### Reproduction
see the "/examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py"
### Logs
```shell
```
### System Info
diffusers 0.31.0
### Who can help?
_No response_
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Start with examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py around line 717, then reproduce the issue using that script with diffusers 0.31.0. Check the transformer’s handling before accelerator.prepare in mixed-precision training; done means gradient precision is preserved and the training result no longer regresses.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python, pytorch
- Ambito
- machine-learning
- Tipo di issue
- Bug
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Ferma
- Chiarezza
- Specificata chiaramente
- Idoneità per principianti
- 45/100