Diacritics are not considered part of words

Offen

#101,421 erstellt am 30.1.2023 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 5/5
Geschätzter Aufwand: Über eine Woche
Anfängerfreundlichkeit: 25/100

Issue-Typ: Bug
Klarheit: Muss geklärt werden
Aktivitätsstatus: Veraltet
Tech-Stack: python
Bereich: backend

Rechercherichtung

Der Bericht liefert eine Reproduktion mit Python re und unicodedata, nennt aber weder eine CPython-Datei noch einen Test. Beginne damit, die Unicode-Behandlung von \w in der Regex-Engine zu lokalisieren und verwandte Tests zu überprüfen; als abgeschlossen gilt die Aufgabe, wenn ein abgestimmtes Verhalten für zerlegte diakritische Zeichen und ein Regressionstest vorhanden sind.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

stdlib topic-regex topic-unicode type-bug

I'm not sure whether it's a bug or expected behaviour, but it seems odd so I figure reporting it is a good idea: while a precomposed character is considered "a word" by the regex engine (specifically \w), its decomposed form is not, because a diacritic is not considered part of a word.

>>> import re, unicodedata
>>> s = "ö"
>>> list(s)
['ö']
>>> list(unicodedata.normalize('NFD', s))
['o', '̈']
>>> re.fullmatch(r'\w+', s)
<re.Match object; span=(0, 1), match='ö'>
>>> re.fullmatch(r'\w+', unicodedata.normalize('NFD', s))

This leads to odd effects when ingesting and filtering decomposed data.

Tested on 3.8.13, 3.10.6, and 3.11.1 (all installed via pyenv), on a Mint 21.1).

Vorherrschende Sprache: Python
Sterne: 77.2k
Forks: 36k
Ø Merge: 1 T. 9 Std.
Gemergte PRs (30 T.): 558

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus python/cpython

docs: Zipfile contains a 13-years outdated warning regarding path sanitization Offen

docs pending

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

python/cpython#157339 · 10 Kommentare · Erstellt am 11.9.2026
pydoc HTML output is not responsive and has no viewport meta in released versions Offen

stdlib type-feature

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

python/cpython#155601 · 2 Kommentare · Erstellt am 12.8.2026
`zipfile.ZipFile.writestr()` raises `AttributeError` instead of accepting `os.PathLike` objects (e.g. `pathlib.Path`) Offen

stdlib type-feature

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100

python/cpython#153771 · 5 Kommentare · Erstellt am 15.7.2026
BOLT-WARNING: specifying numeric value "1" for option -icf is deprecated Offen

build type-bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100

python/cpython#149708 · 1 Kommentar · Erstellt am 12.5.2026
Expose message ID list from `ReferencesHeader` Offen

stdlib topic-email type-feature

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100

python/cpython#148797 · 3 Kommentare · Erstellt am 20.4.2026

Alle Issues in python/cpython