graykode / graykode/nlp-tutorial
Why is src_len+1 in Transformer demo?
- Langage dominant
- Jupyter Notebook
- Étoiles
- 14.9k
- Forks
- 3.9k
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Description
self.pos_emb = nn.Embedding.from_pretrained(get_sinusoid_encoding_table(src_len+1, d_model),freeze=True)
The position encoding table should be (max_len, d_model), why add 1?
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Localisez la démo Transformer contenant la ligne nn.Embedding.from_pretrained et examinez get_sinusoid_encoding_table(src_len+1, d_model). Vérifiez comment les positions source sont indexées et si la position supplémentaire est nécessaire. Le travail est terminé lorsqu’une explication claire de l’utilisation de src_len+1 est documentée, ou qu’il est confirmé que l’appel devrait utiliser src_len.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- pytorch
- Domaine
- documentation, machine-learning
- Type d'issue
- Documentation
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 35/100