Flux Inference memory optimisation by pre-computing modulation parameters ahead of time

DiffusionKit has an excellent memory optimisation for Flux where it calculates modulation parameters ahead of time
then offloads the adaLN_modulation parameters which for fp16 saves ~ 6.5 GB peak memory usage during inference.

https://github.com/argmaxinc/DiffusionKit/pull/15/

It would be nice if a similar change could be made to Diffusers.

It's especially useful for MPS users who are getting left behind with the current trend using quantisation to reduce memory usage rather than optimisation and for whom CPU offloading is not a thing.

Diffusers のファイルやテストは指定されていません。まずリンクされた DiffusionKit pull request を読み、その後 Diffusers 内の Flux の推論と変調パラメータの処理を見つけてください。完了の条件は、推論の挙動を維持しながら、同等の事前計算と offloading によるメモリ削減を実現することです。これには MPS ユーザーの場合も含まれます。

索引モデルが issue の本文から書いたものです。