model.tokenize result is different from tranformers tokenizer result

オープン

#1,468 2024年5月17日に作成コメント 1 件リアクション 0 件担当者 0 名 GitHub で見る

説明

using the same mode Qwen1.5-7B
input_ids1 = model.tokenize(prompt.encode("utf-8"))

input_ids2 = tokenizer([prompt], padding=False)["input_ids"]

input_ids1 != input_ids2

この issue はまだ評価されていません。