AlibabaResearch / AlibabaResearch/AdvancedLiterateMachinery
训练文档理解时日文文字转token时出现很多[UNK],如何解决
Đang mở
- Ngôn ngữ chính
- C++
- Star
- 1.8k
- Fork
- 195
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
加载默认tokenizer 进行字符转换时，会出现部分字符为【UNK】
TOKENIZER = TOKENIZER = BertTokenizer.from_pretrained("bert-base-uncased", do_lower_case=True)
tokenizer = TOKENIZER
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Đánh giá
Issue này chưa được đánh giá.