anthony-wang / anthony-wang/CrabNet

Reason to use pe_scaler and ple_scaler

Offen
#37 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
132
Forks
42
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Could you explain the reason why you use the `pe_scaler` and `ple_scaler` in the forward pass of the `Encoder`-class in `kingcrab.py`?
In particular, why do you choose the form
`pe_scaler = 2**(1-self.pos_scaler)**2`
and
`ple_scaler = 2**(1-self.pos_scaler_log)**2`?
I don't really understand why one needs these two scalers (and also `self.emb_scaler`) in the first place and why you chose the above exponential forms for them.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.