huggingface / huggingface/diffusers
Some wrong in sd3's lora training script
- Langage dominant
- Python
- Étoiles
- 34.5k
- Forks
- 7.3k
- Merge moyen
- 3 j 3 h
- PR mergées (30 j)
- 91
Description
### Describe the bug
https://github.com/huggingface/diffusers/blob/e8aacda762e311505ba05ae340af23b149e37af3/examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py#L717
the transformer before accelerator.prepare should not convert to fp16 in mix precision;
it will broken the grad precision and result in worse training result
### Reproduction
see the "/examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py"
### Logs
```shell
```
### System Info
diffusers 0.31.0
### Who can help?
_No response_
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Commencez par examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py vers la ligne 717, puis reproduisez le problème avec ce script et diffusers 0.31.0. Vérifiez le traitement du transformer avant accelerator.prepare lors de l’entraînement en précision mixte ; la tâche est terminée lorsque la précision des gradients est préservée et que le résultat de l’entraînement ne régresse plus.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- python, pytorch
- Domaine
- machine-learning
- Type d'issue
- Bug
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Activité
- À l'abandon
- Clarté
- Clairement spécifiée
- Accessibilité débutants
- 45/100