Where is the global attention?
Aperta
- Lingua principale
- Python
- Stelle
- 2.2k
- Fork
- 285
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
I searched some code in longformer and the related code in transformers,the invert_mask() function in BartEncoder destroies the integer 2 in the attention mask,but the longformer attention code regard the mask as it dosen't been inverted.
So I think the global attention is not enabled in the model, could you explain it to me ?
Hope that I'm wrong....
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Valutazione
Questa issue non è ancora stata valutata.