huggingface / huggingface/diffusers

Some wrong in sd3's lora training script

Ouverte
#10,591 3 commentaires 1 réaction 0 personnes assignées Voir sur GitHub
bug stale
Langage dominant
Python
Étoiles
34.5k
Forks
7.3k
Merge moyen
3 j 3 h
PR mergées (30 j)
91

Description

### Describe the bug

https://github.com/huggingface/diffusers/blob/e8aacda762e311505ba05ae340af23b149e37af3/examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py#L717

the transformer before accelerator.prepare should not convert to fp16 in mix precision;
it will broken the grad precision and result in worse training result

### Reproduction

see the "/examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py"

### Logs

```shell

```

### System Info

diffusers 0.31.0

### Who can help?

_No response_

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py vers la ligne 717, puis reproduisez le problème avec ce script et diffusers 0.31.0. Vérifiez le traitement du transformer avant accelerator.prepare lors de l’entraînement en précision mixte ; la tâche est terminée lorsque la précision des gradients est préservée et que le résultat de l’entraînement ne régresse plus.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python, pytorch
Domaine
machine-learning
Type d'issue
Bug
Difficulté
3/5
Temps estimé
1-2 jours
Activité
À l'abandon
Clarté
Clairement spécifiée
Accessibilité débutants
45/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.