graykode / graykode/nlp-tutorial

Why is src_len+1 in Transformer demo?

Aperta
#66 1 commento 1 reazione 0 assegnatari Vedi su GitHub
Lingua principale
Jupyter Notebook
Stelle
14.9k
Fork
3.9k
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

self.pos_emb = nn.Embedding.from_pretrained(get_sinusoid_encoding_table(src_len+1, d_model),freeze=True)

The position encoding table should be (max_len, d_model), why add 1?

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Locate the Transformer demo containing the nn.Embedding.from_pretrained line and inspect get_sinusoid_encoding_table(src_len+1, d_model). Check how source positions are indexed and whether the extra position is required. Done means documenting a clear explanation of why src_len+1 is used, or confirming that the call should use src_len.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
pytorch
Ambito
documentation, machine-learning
Tipo di issue
Documentazione
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.