msft analyzer tokenizer error

API_Version='11.5.2'

Microsoft analyzer: en.microsoft
'presnell 4649 to 1 h56' --> only has token of '1 h56', no token of ' h56' we need token h56

'724 726-14-7024' --> only has token of '-7024', no token of '7024' we need token 7024.

まず、Microsoft analyzer en.microsoft を使用して、API バージョン 11.5.2 について説明されている tokenizer の動作を再現します。両方の例で返された tokens を、期待される h56 および 7024 の tokens と比較します。この issue では、調査対象のファイル、test、entry point は指定されていません。

索引モデルが issue の本文から書いたものです。