graykode / graykode/nlp-tutorial
Why is src_len+1 in Transformer demo?
オープン
- 主要言語
- Jupyter Notebook
- スター
- 14.9k
- フォーク
- 3.9k
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
self.pos_emb = nn.Embedding.from_pretrained(get_sinusoid_encoding_table(src_len+1, d_model),freeze=True)
The position encoding table should be (max_len, d_model), why add 1?
コントリビューションガイド
調査の方向性
nn.Embedding.from_pretrained の行を含む Transformer デモを見つけ、get_sinusoid_encoding_table(src_len+1, d_model) を調査してください。ソース位置がどのようにインデックス付けされているか、また追加の位置が必要かどうかを確認してください。src_len+1 が使用されている理由を明確に文書化するか、呼び出しで src_len を使用すべきであることを確認できれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- pytorch
- 領域
- documentation, machine-learning
- issue の種類
- ドキュメント
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 35/100