ai-forever / ai-forever/model-zoo
Замена буквы "й" на "и" в токенайзере ruBert-base
- Linguagem predominante
- Sem dados de linguagem
- Estrelas
- 50
- Forks
- 2
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Descrição
Привет!
Возможно это уже обнаруживали ранее, однако мне не удалось найти информации по этому вопросу
При использовании токенайзера ruBert-base буква "й" заменяется на "и", пример приведён ниже. Мне бы хотелось узнать, на каком именно этапе это происходит, если это сделано специально - то для чего, и можно ли переопределить это поведение при использовании модели?
`input: 'Из-за повреждений теплосети произошло скопление пара, которое затруднило движение автомобилей и пешеходов из-за плохой видимости и опасности горячего теплоносителя на проезжей части.' `
`output: [CLS] из - за повреждении теплосети произошло скопление пара, которое затруднило движение автомобилеи и пешеходов из - за плохои видимости и опасности горячего теплоносителя на проезжеи части. [SEP]`
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Avaliação
Esta issue ainda não foi avaliada.