model.tokenize result is different from tranformers tokenizer result

未關閉

#1,468 建立於 2024年5月17日 1 則留言 0 個 reaction 已指派 0 人在 GitHub 檢視

描述

using the same mode Qwen1.5-7B
input_ids1 = model.tokenize(prompt.encode("utf-8"))

input_ids2 = tokenizer([prompt], padding=False)["input_ids"]

input_ids1 != input_ids2

這個 Issue 還沒有評估資料。