huggingface / huggingface/diffusers

attention dispatcher assumes wrong attributes for flash attn kernel from hub

Aperta Adatta ai principianti
#14,012 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
bug
Lingua principale
Python
Stelle
34.5k
Fork
7.3k
Merge medio
3g 3h
PR unite (30g)
91

Descrizione

### Describe the bug

The breakage was in the active diffusers checkout, not in kernels. kernels-community/flash-attn2 exposes:

- `flash_attn_varlen_func`
- `flash_attn_varlen_qkvpacked_func`
- `flash_attn_interface._flash_attn_varlen_forward`
- `flash_attn_interface._flash_attn_varlen_backward`

But diffusers was trying to resolve:

- `flash_attn_interface._wrapped_flash_attn_varlen_forward`
- `flash_attn_interface._wrapped_flash_attn_varlen_backward`

Those _wrapped_* attrs do not exist in the current kernels package. I patched `src/diffusers/models/attention_dispatch.py` to use the actual `_flash_attn_varlen_forward`/`...backward` names, which allowed it to proceed.

### Reproduction

No separate MRE

### Logs

```shell

```

### System Info

Not needed

### Who can help?

_No response_

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia in src/diffusers/models/attention_dispatch.py e ispeziona come vengono risolte le funzioni di flash-attention da kernels-community/flash-attn2. Confronta gli attributi _wrapped_* richiesti con i nomi delle funzioni esposti nell’issue, quindi verifica che il dispatcher proceda attraverso il percorso flash-attention usando il pacchetto kernel corrente.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python, pytorch
Ambito
machine-learning, performance
Tipo di issue
Bug
Difficoltà
2/5
Tempo stimato
1-3 ore
Stato di attività
Tranquilla
Chiarezza
Specificata chiaramente
Idoneità per principianti
72/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.