anthony-wang / anthony-wang/CrabNet

Reason to use pe_scaler and ple_scaler

Aperta
#37 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
132
Fork
42
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Could you explain the reason why you use the `pe_scaler` and `ple_scaler` in the forward pass of the `Encoder`-class in `kingcrab.py`?
In particular, why do you choose the form
`pe_scaler = 2**(1-self.pos_scaler)**2`
and
`ple_scaler = 2**(1-self.pos_scaler_log)**2`?
I don't really understand why one needs these two scalers (and also `self.emb_scaler`) in the first place and why you chose the above exponential forms for them.

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.