python / python/cpython

Windows code page codec cannot encode with code pages that require dwFlags=0

Ouverte
#155,016 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

3.13 3.14 3.15 3.16 OS-windows topic-unicode type-bug
Langage dominant
Python
Étoiles
77.2k
Forks
35.9k
Métriques de merge des PR
Métriques de PR en attente

Description

Bug report

On Windows, codecs.code_page_encode() fails with OSError: [WinError 87] The parameter is incorrect for every code page that WideCharToMultiByte() requires to be called with dwFlags = 0 and lpUsedDefaultChar = NULL: 50220, 50221, 50222, 50225, 50227, 50229, 52936 (HZ-GB2312), 54936 (GB18030), 57002-57011 (ISCII), 65000 and 42. Decoding these code pages works.

>>> import codecs
>>> codecs.code_page_decode(50220, b'\x1b$B$"\x1b(B')
('あ', 8)
>>> codecs.code_page_encode(50220, 'あ')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
OSError: [WinError 87] The parameter is incorrect

encode_code_page_flags() returns WC_NO_BEST_FIT_CHARS, and encode_code_page_strict() passes a non-NULL lpUsedDefaultChar, for every code page except CP_UTF8 and CP_UTF7. decode_code_page_strict() retries with flags = 0 when MultiByteToWideChar() fails with ERROR_INVALID_FLAGS; the encoder has no such fallback. With dwFlags = 0 and lpUsedDefaultChar = NULL the conversion works:

>>> import ctypes
>>> buf = ctypes.create_string_buffer(64)
>>> n = ctypes.windll.kernel32.WideCharToMultiByte(50220, 0, 'あ', 1, buf, 64, None, None)
>>> buf.raw[:n]
b'\x1b$B$"\x1b(B'

Note that usedDefaultChar is how the encoder detects unencodable characters, so dropping it needs a replacement (for example decoding the result back and comparing).

cp51932, cp51936 and cp51950 fail in both directions; those code pages are not supported by MultiByteToWideChar()/WideCharToMultiByte() at all.

Linked PRs
  • gh-155018

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Commencez par codecs.code_page_encode() et les helpers encode_code_page_flags() et encode_code_page_strict(), puis comparez leur comportement avec decode_code_page_strict(). Reproduisez l’échec pour la page de codes 50220 et vérifiez que les pages de codes Windows listées s’encodent correctement, tandis que la détection des caractères non encodables reste couverte. Le PR lié gh-155018 indique que le travail est déjà en cours.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python
Domaine
operating-systems
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
30/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.