ai-forever / ai-forever/model-zoo
В токенайзере для T5-base отсутсвует токен "Щ"
未關閉
- 主要語言
- 沒有語言資料
- 星號
- 50
- 分支
- 2
- PR 合併指標
- 30 天內沒有已合併 PR
描述
Я понимаю, что использовались для составления словаря самые популярные токены, но, возможно, в будущем стоит отдать отдельный приоритет токенам длинной в один символ, чтобы при генерации текста не получалось проблем вида:
```
In: Щелкунчик 42 щелкал щелбаны по щёчкам
Out: елкунчик сорок два щелкал щелбаны по щёчкам
```
Взамен таких токенов можно пожертвовать многосимвольными цифровыми токенами а-ля "2007", ".01.", etc.
貢獻指南
這個儲存庫沒有索引到貢獻指南
評估
這個 Issue 還沒有評估資料。