python / python/cpython

`state_reset()` does not clear `save_marks` after an aborted match

Ouverte
#157,705 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

extension-modules type-bug
Langage dominant
Python
Étoiles
77.2k
Forks
35.9k
Métriques de merge des PR
Métriques de PR en attente

Description

Bug description:

state_reset() in Modules/_sre/sre.c clears the per-match state at the start of each match in a scanner loop, including state->repeat, but not state->save_marks, which is zeroed only in state_init(). A match aborted by a signal returns straight out of SRE(match), so that counter stays above zero for the rest of the iterator and every later match saves and restores marks on backtracking that it would otherwise skip. Only finditer() and pattern.scanner() can observe it, because the findall/sub/split loops abandon the state on error. Results are unchanged, only the cost.

$ cat repro.py
import re, signal, time

class Alarm(Exception): pass

def boom(*args): raise Alarm
signal.signal(signal.SIGALRM, boom)

PAT = r"(z)*" + "(a)" * 200 + r"(?:xy|x)" * 300
SUBJECT = "z" * 400000 + ("a" * 200 + "x" * 300) * 400

def run(interrupt):
    it = re.compile(PAT).finditer(SUBJECT)
    if interrupt:
        signal.setitimer(signal.ITIMER_REAL, 0.02)
        try:
            next(it)
        except Alarm:
            pass
        signal.setitimer(signal.ITIMER_REAL, 0)
    next(it)
    t = time.perf_counter()
    spans = [m.span() for m in it]
    return time.perf_counter() - t, spans

clean, clean_spans = run(False)
dirty, dirty_spans = run(True)
print("clean iterator          : %.4fs, %d matches" % (clean, len(clean_spans)))
print("resumed after one abort : %.4fs, %d matches" % (dirty, len(dirty_spans)))
print("same results            : %s" % (clean_spans == dirty_spans,))

$ ./python repro.py
clean iterator          : 0.0087s, 399 matches
resumed after one abort : 0.0238s, 399 matches
same results            : True

Expected: an iterator resumed after an aborted match costs the same as a clean one.

CPython versions tested on:

CPython main branch

Operating systems tested on:

Linux

Linked PRs
  • gh-157707

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Commencez dans Modules/_sre/sre.c, au niveau de state_reset et des chemins de scanner-loop utilisés par finditer() et pattern.scanner(). Exécutez d’abord la comparaison avec repro.py, puis vérifiez qu’un match abandonné ne ralentit pas l’itération ultérieure et que les spans repris restent inchangés.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python
Domaine
backend
Type d'issue
Bug
Difficulté
3/5
Temps estimé
1-2 jours
Activité
À l'abandon
Clarté
Clairement spécifiée
Accessibilité débutants
30/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.