A question about eos_token_id
Đang mở
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 1.1k
- Fork
- 120
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
Hi,OLMoE Team
Thank you for your work, so that more people can join this work.
In the readme I saw that tokenizer.eos_token_id is set to 50279. But in the .yml configuration file I found that eos_token_id is 0. How should I understand this difference? Maybe it's because of the vocab_size of 50280?Thank you！
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Đánh giá
Issue này chưa được đánh giá.