graykode / graykode/nlp-tutorial

Why is src_len+1 in Transformer demo?

オープン
#66 コメント 1 件 リアクション 1 件 担当者 0 名 GitHub で見る
主要言語
Jupyter Notebook
スター
14.9k
フォーク
3.9k
PR マージ指標
30日以内にマージされた PR はありません

説明

self.pos_emb = nn.Embedding.from_pretrained(get_sinusoid_encoding_table(src_len+1, d_model),freeze=True)

The position encoding table should be (max_len, d_model), why add 1?

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

nn.Embedding.from_pretrained の行を含む Transformer デモを見つけ、get_sinusoid_encoding_table(src_len+1, d_model) を調査してください。ソース位置がどのようにインデックス付けされているか、また追加の位置が必要かどうかを確認してください。src_len+1 が使用されている理由を明確に文書化するか、呼び出しで src_len を使用すべきであることを確認できれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
pytorch
領域
documentation, machine-learning
issue の種類
ドキュメント
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。