graykode / graykode/nlp-tutorial
Why is src_len+1 in Transformer demo?
Đang mở
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 14.9k
- Fork
- 3.9k
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
self.pos_emb = nn.Embedding.from_pretrained(get_sinusoid_encoding_table(src_len+1, d_model),freeze=True)
The position encoding table should be (max_len, d_model), why add 1?
Hướng dẫn đóng góp
Hướng nghiên cứu
Xác định bản demo Transformer chứa dòng nn.Embedding.from_pretrained và kiểm tra get_sinusoid_encoding_table(src_len+1, d_model). Kiểm tra cách các vị trí nguồn được đánh chỉ mục và liệu vị trí bổ sung có cần thiết hay không. Công việc được xem là hoàn tất khi ghi lại rõ ràng lý do sử dụng src_len+1, hoặc xác nhận rằng lệnh gọi nên sử dụng src_len.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- pytorch
- Lĩnh vực
- documentation, machine-learning
- Loại issue
- Tài liệu
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100