ai-forever / ai-forever/ru-dalle
Sparse attention support
Aperta
- Lingua principale
- Jupyter Notebook
- Stelle
- 1.6k
- Fork
- 242
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
Currently, the inference code creates the entire attention matrix and then masks it. Sparse attention implementations like Triton are more efficient. Does the pre-training code support sparse attention? Will it ever be released?
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Valutazione
Questa issue non è ancora stata valutata.