Dreambooth Flux with Lora: OOM

### Describe the bug

It is pretty wired that even after I set lora rank to only 2, training the dreambooth_flux with lora still returns OOM. My GPU is three L40s (44G-48G). And data is only one image.

If this is still OOM, I'm wondering why should lora version exist? The next GPU memory capbility is 80G which can train it without lora.

### Reproduction

NA

### Logs

_No response_

### System Info

L40s

### Who can help?

_No response_

ファイル、テスト、ログ、または使用可能な再現手順は提供されていません。まず、指定された L40S ハードウェアと設定で DreamBooth Flux LoRA のトレーニングを再現し、次にメモリ障害を特定して、1 枚の画像のトレーニングを out-of-memory エラーなしで完了することで修正を検証してください。

索引モデルが issue の本文から書いたものです。