msft analyzer tokenizer error

API_Version='11.5.2'

Microsoft analyzer: en.microsoft
'presnell 4649 to 1 h56' --> only has token of '1 h56', no token of ' h56' we need token h56

'724 726-14-7024' --> only has token of '-7024', no token of '7024' we need token 7024.

首先，使用 Microsoft analyzer en.microsoft 复现针对 API 版本 11.5.2 所描述的 tokenizer 行为。将两个示例返回的 tokens 与预期的 h56 和 7024 tokens 进行比较；该 issue 未指明要检查的文件、test 或 entry point。

由索引模型根据 Issue 内容生成。