graykode / graykode/nlp-tutorial
5.1 Transformer may have wrong position embed
Đang mở
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 14.9k
- Fork
- 3.9k
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
1. in"class Encoder": enc_outputs = self.src_emb(enc_inputs) + self.pos_emb(torch.LongTensor([[1,2,3,4,0]]))
I think it may be: enc_outputs = self.src_emb(enc_inputs) + self.pos_emb(torch.LongTensor([[0,1,2,3,4]]))
2. in"class Decoder": dec_outputs = self.tgt_emb(dec_inputs) + self.pos_emb(torch.LongTensor([[5,1,2,3,4]]))
I think it may be: dec_outputs = self.tgt_emb(dec_inputs) + self.pos_emb(torch.LongTensor([[0,1,2,3,4]]))
Hướng dẫn đóng góp
Đánh giá
Issue này chưa được đánh giá.