graykode / graykode/nlp-tutorial
Why is src_len+1 in Transformer demo?
Offen
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 14.9k
- Forks
- 3.9k
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
self.pos_emb = nn.Embedding.from_pretrained(get_sinusoid_encoding_table(src_len+1, d_model),freeze=True)
The position encoding table should be (max_len, d_model), why add 1?
Beitragsleitfaden
Bewertung
Dieses Issue wurde noch nicht bewertet.