huggingface / huggingface/diffusers

Some wrong in sd3's lora training script

Abierto
#10,591 3 comentarios 1 reacción 0 asignados Ver en GitHub
bug stale
Lenguaje dominante
Python
Estrellas
34.5k
Forks
7.3k
Merge medio
3 d 3 h
PR fusionados (30 d)
91

Descripción

### Describe the bug

https://github.com/huggingface/diffusers/blob/e8aacda762e311505ba05ae340af23b149e37af3/examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py#L717

the transformer before accelerator.prepare should not convert to fp16 in mix precision;
it will broken the grad precision and result in worse training result

### Reproduction

see the "/examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py"

### Logs

```shell

```

### System Info

diffusers 0.31.0

### Who can help?

_No response_

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza con examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py alrededor de la línea 717 y luego reproduce el problema usando ese script con diffusers 0.31.0. Comprueba el procesamiento del transformer antes de accelerator.prepare en el entrenamiento con precisión mixta; la tarea estará terminada cuando se preserve la precisión de los gradientes y el resultado del entrenamiento deje de empeorar.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python, pytorch
Área
machine-learning
Tipo de issue
Error
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Estancado
Claridad
Bien especificado
Aptitud para principiantes
45/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.