Inconsistent handling of non-ASCII characters in encodings.normalize_encoding()

Bug report

#83518 changed handling of non-ASCII characters in encodings.normalize_encoding(), but it is still inconsistent with codecs.lookup(), and not even self-consistent. For example:

>>> import encodings
>>> encodings.normalize_encoding('a¤b')
'a_b'
>>> encodings.normalize_encoding('aæb')
'ab'
>>> encodings.normalize_encoding('a-¤')
'a'
>>> encodings.normalize_encoding('a-æ')
'a_'
>>> encodings.normalize_encoding('a-¤-b')
'a_b'
>>> encodings.normalize_encoding('a-æ-b')
'a__b'

You can even get an underscore at the end or repeated underscores in the middle.

cc @malemburg, @vstinner, @shihai1991

Linked PRs

• gh-136737

encodings.normalize_encoding() から始め、この issue の例を使って末尾のアンダースコアと連続するアンダースコアを再現しながら、非 ASCII の扱いを codecs.lookup() と比較してください。正規化の動作が codecs.lookup() と一貫しており、内部的にも一貫していれば完了です。リンクされた PR gh-136737 は、すでに作業が進行中であることを示しています。