Clarification on mutually exclusive use of self-attention and cross-attention in DiffusionModelUNetMaisi
@dongyang0122 ci sta già lavorando.
Dal 9/6/2025.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
Hi MONAI team,
while reading through the implementation of DiffusionModelUNetMaisi, I noticed the following logic for enabling attention at each level:
with_attn = attention_levels[i] and not with_conditioning
with_cross_attn = attention_levels[i] and with_conditioning
This effectively means that self-attention is never used when the model is in conditioning mode (with_conditioning=True), even if attention_levels[i] is True.
Is this behavior intentional?
In other diffusion-based architectures such as Stable Diffusion, it is common practice to enable both self-attention and cross-attention simultaneously within the same layers.
Would it be acceptable, or even recommended, to modify the logic as follows to allow both mechanisms in parallel?
Or is there a specific reason this mutual exclusivity was enforced?
Looking forward to your insights, and thank you for the great work on this model!
Best regards,
Daniele Molino
- Lingua principale
- Jupyter Notebook
- Stelle
- 2.5k
- Fork
- 803
- Merge medio
- 6g 22h
- PR unite (30g)
- 3
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Project-MONAI/tutorials
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
Project-MONAI/tutorials#2076 ·
-
Difficoltà 1/5 1-3 ore Idoneità per principianti 76/100
Project-MONAI/tutorials#2069 ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
Project-MONAI/tutorials#1704 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 62/100
Project-MONAI/tutorials#2071 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
Project-MONAI/tutorials#2067 ·