graykode / graykode/nlp-tutorial

Some problems about Bert

未关闭
#40 2 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Jupyter Notebook
星标
14.9k
派生
3.9k
PR 合并指标
30 天内没有已合并 PR

描述

line 70: **index = randint(0, vocab_size - 1) # random index in vocabulary.**
I think the replace index can't involve 'cls' ,'sep' and 'mask'!

贡献指南

打开贡献指南

调研方向

阅读第 70 行附近的 BERT 示例,并验证 randint 如何选择替换 token。完成的标准是替换索引不能选择 cls、sep 或 mask,并且已检查相关 notebook 的行为。

由索引模型根据 Issue 内容生成。

评估

技术栈
jupyter-notebook, python
领域
machine-learning
Issue 类型
缺陷
难度
2/5
预计耗时
1-3 小时
活跃度
停滞
描述清晰度
基本清楚
新手友好度
42/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。