huggingface / huggingface/diffusers
Some wrong in sd3's lora training script
- Lenguaje dominante
- Python
- Estrellas
- 34.5k
- Forks
- 7.3k
- Merge medio
- 3 d 3 h
- PR fusionados (30 d)
- 91
Descripción
### Describe the bug
https://github.com/huggingface/diffusers/blob/e8aacda762e311505ba05ae340af23b149e37af3/examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py#L717
the transformer before accelerator.prepare should not convert to fp16 in mix precision;
it will broken the grad precision and result in worse training result
### Reproduction
see the "/examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py"
### Logs
```shell
```
### System Info
diffusers 0.31.0
### Who can help?
_No response_
Guía de contribución
Línea de trabajo
Comienza con examples/research_projects/sd3_lora_colab/train_dreambooth_lora_sd3_miniature.py alrededor de la línea 717 y luego reproduce el problema usando ese script con diffusers 0.31.0. Comprueba el procesamiento del transformer antes de accelerator.prepare en el entrenamiento con precisión mixta; la tarea estará terminada cuando se preserve la precisión de los gradientes y el resultado del entrenamiento deje de empeorar.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python, pytorch
- Área
- machine-learning
- Tipo de issue
- Error
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Estado de actividad
- Estancado
- Claridad
- Bien especificado
- Aptitud para principiantes
- 45/100