JIT doesn't trace exec()-generated functions called from hot loops
Nessuno ha ancora preso questa issue.
- Lingua principale
- Python
- Stelle
- 77.2k
- Fork
- 35.9k
- Metriche di merge delle PR
- Metriche PR in attesa
Descrizione
When a hot loop calls functions generated via exec(), the loop body gets traced but the callees don't. Each callee is individually cold (called ~60 times), but the call site is hot (5,000+ calls total across different callees).
Concrete case: tinygrad generates ~5,000 pattern matching functions at startup via exec(). They're called from a tight loop:
for _, match, _ in pats:
if (ret := match(uop, ctx)) is not None: return ret
PYTHON_JIT=1 on 3.14.4 produces no improvement. The specializer works (LOAD_ATTR_SLOT fires correctly), but the JIT never compiles the callees.
Related: faster-cpython/ideas#738, #118093 (tier 2 entry at function calls).
It would be useful to either trace through exec()-generated callees at hot call sites, or detect aggregate hotness across callees sharing a call site.
Linked PRs
- gh-149575
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Inizia riproducendo il ciclo di pattern matching di tinygrad con PYTHON_JIT=1 su Python 3.14.4, concentrandoti sui callees generati da exec() e sul loro sito di chiamata hot condiviso. Confronta il comportamento di LOAD_ATTR_SLOT dello specializer con il fatto che i callees vengano compilati; il lavoro è completato quando il carico di lavoro di chiamate hot riportato mostra un miglioramento JIT attraverso le funzioni generate.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- compilers, performance
- Tipo di issue
- Bug
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100