process_encoder_hidden_states function is applied on each denoising step

https://github.com/huggingface/diffusers/blob/31058cdaef63ca660a1a045281d156239fba8192/src/diffusers/models/unets/unet_2d_condition.py#L1004

Hey! I noticed that `process_encoder_hidden_states` is applied on each denoising step that influences on an inference performance. This function can be executed only once before running UNet2DConditionModel.forward. The output of `process_encoder_hidden_states` should be combined with `encoder_hidden_states` and be provided to UNet2DConditionModel.forward

Comienza en src/diffusers/models/unets/unet_2d_condition.py, alrededor de la llamada referenciada a process_encoder_hidden_states, e inspecciona cómo entra su resultado en UNet2DConditionModel.forward. Sigue al llamador del paso de denoising para determinar dónde se pueden preparar una sola vez los estados del encoder procesados; el trabajo estará terminado cuando forward reciba los estados combinados sin repetir ese procesamiento en cada paso.

Escrito por el modelo de indexación a partir del texto del issue.