Flux Inference memory optimisation by pre-computing modulation parameters ahead of time

DiffusionKit has an excellent memory optimisation for Flux where it calculates modulation parameters ahead of time
then offloads the adaLN_modulation parameters which for fp16 saves ~ 6.5 GB peak memory usage during inference.

https://github.com/argmaxinc/DiffusionKit/pull/15/

It would be nice if a similar change could be made to Diffusers.

It's especially useful for MPS users who are getting left behind with the current trend using quantisation to reduce memory usage rather than optimisation and for whom CPU offloading is not a thing.

No se nombran archivos ni pruebas de Diffusers. Empieza leyendo el pull request enlazado de DiffusionKit y, después, localiza la inferencia de Flux y el manejo de los parámetros de modulación en Diffusers. Se considera terminado lograr la precomputación análoga y la reducción de memoria mediante offloading, preservando el comportamiento de la inferencia, también para los usuarios de MPS.

Escrito por el modelo de indexación a partir del texto del issue.