AlibabaResearch / AlibabaResearch/AdvancedLiterateMachinery
训练文档理解时日文文字转token时出现很多[UNK],如何解决
未关闭
- 主要语言
- C++
- 星标
- 1.8k
- 派生
- 195
- PR 合并指标
- 30 天内没有已合并 PR
描述
加载默认tokenizer 进行字符转换时，会出现部分字符为【UNK】
TOKENIZER = TOKENIZER = BertTokenizer.from_pretrained("bert-base-uncased", do_lower_case=True)
tokenizer = TOKENIZER
贡献指南
这个仓库没有索引到贡献指南
评估
这个 Issue 还没有评估数据。