How to make LongAlbert?
Aperta
- Lingua principale
- Python
- Stelle
- 2.2k
- Fork
- 285
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
Hi,
I'm trying to make a long version of Albert using the notebook you released, but It seems with Albert, it's a bit tricky. The "AlbertAttention" class in modeling_albert.py is quite different from BertAttention.
Can you kindly show us how to properly make a long version of Albert?
Thanks in advance!
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Valutazione
Questa issue non è ancora stata valutata.