Number of tokens per batch mismatch - longformer vs roberta
Đang mở
- Ngôn ngữ chính
- Python
- Star
- 2.2k
- Fork
- 285
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
I see in your conversion notebook that you suggest that the number of tokens per batch should be the same as roberta: 2^18 = 260k
When I look at the roberta paper, it says it uses a sequence length of 512 and a batch size of 8k. This means that each batch has 512*8k = 4M tokens
Am I missing something?
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Đánh giá
Issue này chưa được đánh giá.