graykode / graykode/nlp-tutorial
If create the Linear() casually, it won't be trained during training.
Đang mở
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 14.9k
- Fork
- 3.9k
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
https://github.com/graykode/nlp-tutorial/blob/3b3a80dc63e69935731bcf09c951eb371692af8f/5-1.Transformer/Transformer(Greedy_decoder)-Torch.py#L98
Hướng dẫn đóng góp
Hướng nghiên cứu
Start at 5-1.Transformer/Transformer(Greedy_decoder)-Torch.py around line 98 and trace how the Linear layer is created and reached during training. Check the model's parameter registration and optimizer path; done means the issue's concern about the layer not being trained is resolved and the relevant training behavior is verified.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python, pytorch
- Lĩnh vực
- machine-learning
- Loại issue
- Lỗi
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100