graykode / graykode/nlp-tutorial
BERT存在两个严重问题
Đang mở
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 14.9k
- Fork
- 3.9k
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
1.随机替换成词表中的其他词时应该排除[PAD],[CLS],[SEP],[MASK]，否则预测模型会学会预测这些词。
2.学习率开大了，始终难以收敛，开1e-6很合适。
Hướng dẫn đóng góp
Hướng nghiên cứu
The issue identifies BERT's random token replacement and learning-rate settings but names no file or test. Start by locating the BERT training notebook and the token-replacement and optimizer configuration; done means special tokens are excluded from replacement and the learning rate is 1e-6, with training behavior checked.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- jupyter-notebook
- Lĩnh vực
- machine-learning
- Loại issue
- Lỗi
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100