graykode / graykode/nlp-tutorial
BERT存在两个严重问题
Offen
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 14.9k
- Forks
- 3.9k
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
1.随机替换成词表中的其他词时应该排除[PAD],[CLS],[SEP],[MASK]，否则预测模型会学会预测这些词。
2.学习率开大了，始终难以收敛，开1e-6很合适。
Beitragsleitfaden
Bewertung
Dieses Issue wurde noch nicht bewertet.