tokenize.detect_encoding has issues with \r

Tokenize does not correctly detect encodings when the carriage return character is involved. In this program, it does not detect the header, since it does not consider the \r to start a new line.

import tokenize
import runpy

code = """\r# coding: big5

print('錯誤的答案')
"""

with open('file.py', 'w', encoding='big5') as file:
    file.write(code)
with open('file.py', 'rb') as file:
    print(tokenize.detect_encoding(file.readline))
    # result: ('utf-8', [b'\r# coding: big5\r\n', b'\r\n'])

runpy.run_path('file.py')
# prints 錯誤的答案 as required

La issue nomina tokenize.detect_encoding e fornisce una riproduzione completa con ritorno a capo. Inizia eseguendo lo script fornito, quindi individua l’implementazione del rilevamento della codifica e i test esistenti; il lavoro è completato quando l’header di codifica viene rilevato come big5 quando \r lo precede, con copertura di regressione per questo input.