tokenize.detect_encoding has issues with \r

Tokenize does not correctly detect encodings when the carriage return character is involved. In this program, it does not detect the header, since it does not consider the \r to start a new line.

import tokenize
import runpy

code = """\r# coding: big5

print('錯誤的答案')
"""

with open('file.py', 'w', encoding='big5') as file:
    file.write(code)
with open('file.py', 'rb') as file:
    print(tokenize.detect_encoding(file.readline))
    # result: ('utf-8', [b'\r# coding: big5\r\n', b'\r\n'])

runpy.run_path('file.py')
# prints 錯誤的答案 as required

Issue では tokenize.detect_encoding が示され、キャリッジリターンを含む完全な再現手順が提供されています。まず提供されたスクリプトを実行し、次にエンコーディング検出の実装と既存のテストを見つけます。\r が先行する場合にコーディングヘッダーが big5 として検出され、この入力に対するリグレッションカバレッジがあれば完了です。