anthony-wang / anthony-wang/CrabNet

Reason to use pe_scaler and ple_scaler

オープン
#37 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
132
フォーク
42
PR マージ指標
30日以内にマージされた PR はありません

説明

Could you explain the reason why you use the `pe_scaler` and `ple_scaler` in the forward pass of the `Encoder`-class in `kingcrab.py`?
In particular, why do you choose the form
`pe_scaler = 2**(1-self.pos_scaler)**2`
and
`ple_scaler = 2**(1-self.pos_scaler_log)**2`?
I don't really understand why one needs these two scalers (and also `self.emb_scaler`) in the first place and why you chose the above exponential forms for them.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。