python / python/cpython

JIT doesn't trace exec()-generated functions called from hot loops

Ouverte
#149,564 5 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

interpreter-core topic-JIT type-feature
Langage dominant
Python
Étoiles
77.2k
Forks
35.9k
Métriques de merge des PR
Métriques de PR en attente

Description

When a hot loop calls functions generated via exec(), the loop body gets traced but the callees don't. Each callee is individually cold (called ~60 times), but the call site is hot (5,000+ calls total across different callees).

Concrete case: tinygrad generates ~5,000 pattern matching functions at startup via exec(). They're called from a tight loop:

for _, match, _ in pats:
    if (ret := match(uop, ctx)) is not None: return ret

PYTHON_JIT=1 on 3.14.4 produces no improvement. The specializer works (LOAD_ATTR_SLOT fires correctly), but the JIT never compiles the callees.

Related: faster-cpython/ideas#738, #118093 (tier 2 entry at function calls).

It would be useful to either trace through exec()-generated callees at hot call sites, or detect aggregate hotness across callees sharing a call site.

Linked PRs
  • gh-149575

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Commencez par reproduire la boucle de pattern matching de tinygrad avec PYTHON_JIT=1 sous Python 3.14.4, en vous concentrant sur les callees générés par exec() et leur site d’appel à chaud partagé. Comparez le comportement de LOAD_ATTR_SLOT du specializer avec le fait que les callees soient compilés ou non ; c’est terminé lorsque la charge de travail d’appels à chaud signalée montre une amélioration JIT grâce aux fonctions générées.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python
Domaine
compilers, performance
Type d'issue
Bug
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.