huggingface / huggingface/diffusers

flux:different results on different machines.

Abierto
#10,075 3 comentarios 0 reacciones 0 asignados Ver en GitHub
stale
Lenguaje dominante
Python
Estrellas
34.5k
Forks
7.3k
Merge medio
3 d 3 h
PR fusionados (30 d)
91

Descripción

Hi!
During the debugging phase, I've noticed that training the [FLUX-Controlnet-Inpainting](https://github.com/alimama-creative/FLUX-Controlnet-Inpainting) model yields different results on different machines.

Specifically, on one machine, everything trains fine,
but on another, I'm getting an error that says "Gradient for module.xxx contains NaN!".

I've double-checked and confirmed that my code is exactly the same on both machines, and use the same seed in set_seed().

Has anyone else encountered this same issue? I'm curious to know if there are any potential causes for this discrepancy in training results across different machines. Any insights or suggestions would be greatly appreciated.

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza con la configuración de entrenamiento enlazada de FLUX-Controlnet-Inpainting y compara las dos máquinas, incluido el entorno y el punto en el que aparece el gradiente NaN. Reproduce la discrepancia con la misma seed; se considera terminado cuando se identifica una causa dependiente de la máquina o un fallo reproducible de forma fiable, y se documentan las condiciones relevantes.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python, pytorch
Área
machine-learning
Tipo de issue
Error
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
25/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.