huggingface / huggingface/diffusers
attention dispatcher assumes wrong attributes for flash attn kernel from hub
- Lingua principale
- Python
- Stelle
- 34.5k
- Fork
- 7.3k
- Merge medio
- 3g 3h
- PR unite (30g)
- 91
Descrizione
### Describe the bug
The breakage was in the active diffusers checkout, not in kernels. kernels-community/flash-attn2 exposes:
- `flash_attn_varlen_func`
- `flash_attn_varlen_qkvpacked_func`
- `flash_attn_interface._flash_attn_varlen_forward`
- `flash_attn_interface._flash_attn_varlen_backward`
But diffusers was trying to resolve:
- `flash_attn_interface._wrapped_flash_attn_varlen_forward`
- `flash_attn_interface._wrapped_flash_attn_varlen_backward`
Those _wrapped_* attrs do not exist in the current kernels package. I patched `src/diffusers/models/attention_dispatch.py` to use the actual `_flash_attn_varlen_forward`/`...backward` names, which allowed it to proceed.
### Reproduction
No separate MRE
### Logs
```shell
```
### System Info
Not needed
### Who can help?
_No response_
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia in src/diffusers/models/attention_dispatch.py e ispeziona come vengono risolte le funzioni di flash-attention da kernels-community/flash-attn2. Confronta gli attributi _wrapped_* richiesti con i nomi delle funzioni esposti nell’issue, quindi verifica che il dispatcher proceda attraverso il percorso flash-attention usando il pacchetto kernel corrente.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python, pytorch
- Ambito
- machine-learning, performance
- Tipo di issue
- Bug
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Stato di attività
- Tranquilla
- Chiarezza
- Specificata chiaramente
- Idoneità per principianti
- 72/100