Speed up matching of case-insensitive character sets
Nessuno ha ancora preso questa issue.
- Lingua principale
- Python
- Stelle
- 77.2k
- Fork
- 35.9k
- Metriche di merge delle PR
- Metriche PR in attesa
Descrizione
Feature or enhancement
Proposal:
A REPEAT_ONE over a case-insensitive character set — e.g. [a-z]+ with re.IGNORECASE — does not use the fast SRE(count) path. The compiled inner opcode is IN_IGNORE / IN_UNI_IGNORE / IN_LOC_IGNORE, none of which has a case in SRE(count). The case-sensitive SRE_OP_IN already has a fast case.
Adding the three IN_*_IGNORE cases to SRE(count) lets them scan inline.
Benchmark
| Benchmark | before | after | |
|---|---|---|---|
[a-z]+ re.I|re.A (IN_IGNORE) |
1.28 us | 538 ns | 2.38x |
[a-z]+ re.I (IN_UNI_IGNORE) |
1.41 us | 711 ns | 1.98x |
[aeiou]+ re.I |
1.35 us | 706 ns | 1.91x |
[a-z0-9]+ re.I |
1.31 us | 696 ns | 1.88x |
[a-z0-9_]+ re.I |
1.31 us | 703 ns | 1.86x |
[a-z]+ re.L|re.I bytes (IN_LOC_IGNORE) |
2.09 us | 1.38 us | 1.52x |
findall [a-z]+ re.I |
109 us | 88.8 us | 1.22x |
findall [a-z_][a-z0-9_]* re.I |
103 us | 89.2 us | 1.15x |
[^0-9]+ re.I is unchanged — it has no cased members, so it stays a plain
IN (already fast).
benchmark script (pyperf)
"""Benchmark: SRE(count) fast path for case-insensitive set repeats."""
import re
import pyperf
N = 100
MIXED = ("aBcDeFgHiJkLmNoPqRsTuVwX" * N)[:N]
ALNUM = ("aB3dE6gH9kLmN0pQrStUvWx1" * N)[:N]
WORD = ("aB_dE_gH_kLmN_pQrStUvW_1" * N)[:N]
NODIGIT = ("aBcDeF gHiJkL!mNoPqR.sT?" * N)[:N]
BYTES = MIXED.encode("latin1")
SCANS = [
("scan_alpha_uni", re.compile(r"[a-z]+", re.I), MIXED),
("scan_alpha_asc", re.compile(r"[a-z]+", re.I | re.A), MIXED),
("scan_alnum_uni", re.compile(r"[a-z0-9]+", re.I), ALNUM),
("scan_word_uni", re.compile(r"[a-z0-9_]+",re.I), WORD),
("scan_neg_uni", re.compile(r"[^0-9]+", re.I), NODIGIT),
("scan_vowels_uni", re.compile(r"[aeiou]+", re.I), "aAeEiIoOuU" * (N // 10)),
("scan_alpha_loc", re.compile(rb"[a-z]+", re.L | re.I), BYTES),
]
DOC = ("The Quick Brown Fox jumps over 12 Lazy Dogs near IP 10_0_0_1 and Node7. " * 50)
FINDS = [
("find_words_ci", re.compile(r"[a-z]+", re.I), DOC),
("find_ident_ci", re.compile(r"[a-z_][a-z0-9_]*", re.I), DOC),
]
def make_scan(p, s):
def run():
assert p.match(s) is not None
return run
runner = pyperf.Runner()
for name, p, s in SCANS:
runner.bench_func(name, make_scan(p, s))
for name, p, s in FINDS:
runner.bench_func(name, (lambda p, s: lambda: p.findall(s))(p, s))
Run under the unpatched and patched builds, then
python -m pyperf compare_to before.json after.json --table.
Has this already been discussed elsewhere?
No response given
Links to previous discussion of this feature:
No response
Linked PRs
- gh-152055
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Controlla prima la PR collegata gh-152055, quindi esamina l’entry point SRE(count) e la gestione degli opcode IN, IN_IGNORE, IN_UNI_IGNORE e IN_LOC_IGNORE. Esegui il benchmark pyperf fornito con build non patchate e patchate e conferma che migliorano i benchmark di ripetizione dei set di caratteri senza distinzione tra maiuscole e minuscole, senza modificare il caso del set negato che rimane invariato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- performance
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100