graykode / graykode/nlp-tutorial
If create the Linear() casually, it won't be trained during training.
未关闭
- 主要语言
- Jupyter Notebook
- 星标
- 14.9k
- 派生
- 3.9k
- PR 合并指标
- 30 天内没有已合并 PR
描述
https://github.com/graykode/nlp-tutorial/blob/3b3a80dc63e69935731bcf09c951eb371692af8f/5-1.Transformer/Transformer(Greedy_decoder)-Torch.py#L98
贡献指南
调研方向
从 5-1.Transformer/Transformer(Greedy_decoder)-Torch.py 第 98 行附近开始，跟踪 Linear 层是如何创建并在训练期间被访问的。检查模型的参数注册和优化器路径；当 issue 中关于该层未被训练的疑问得到解决，并且相关的训练行为得到验证时，即表示完成。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- python, pytorch
- 领域
- machine-learning
- Issue 类型
- 缺陷
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 活跃度
- 停滞
- 描述清晰度
- 需要澄清
- 新手友好度
- 25/100