graykode / graykode/nlp-tutorial
Why is src_len+1 in Transformer demo?
Aperta
- Lingua principale
- Jupyter Notebook
- Stelle
- 14.9k
- Fork
- 3.9k
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
self.pos_emb = nn.Embedding.from_pretrained(get_sinusoid_encoding_table(src_len+1, d_model),freeze=True)
The position encoding table should be (max_len, d_model), why add 1?
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Locate the Transformer demo containing the nn.Embedding.from_pretrained line and inspect get_sinusoid_encoding_table(src_len+1, d_model). Check how source positions are indexed and whether the extra position is required. Done means documenting a clear explanation of why src_len+1 is used, or confirming that the call should use src_len.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- pytorch
- Ambito
- documentation, machine-learning
- Tipo di issue
- Documentazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100