JIT doesn't trace exec()-generated functions called from hot loops
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- Python
- Star
- 77.2k
- Fork
- 35.9k
- Chỉ số merge pull request
- Chỉ số pull request đang chờ
Mô tả
When a hot loop calls functions generated via exec(), the loop body gets traced but the callees don't. Each callee is individually cold (called ~60 times), but the call site is hot (5,000+ calls total across different callees).
Concrete case: tinygrad generates ~5,000 pattern matching functions at startup via exec(). They're called from a tight loop:
for _, match, _ in pats:
if (ret := match(uop, ctx)) is not None: return ret
PYTHON_JIT=1 on 3.14.4 produces no improvement. The specializer works (LOAD_ATTR_SLOT fires correctly), but the JIT never compiles the callees.
Related: faster-cpython/ideas#738, #118093 (tier 2 entry at function calls).
It would be useful to either trace through exec()-generated callees at hot call sites, or detect aggregate hotness across callees sharing a call site.
Linked PRs
- gh-149575
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Bắt đầu bằng cách tái hiện vòng lặp pattern matching của tinygrad với PYTHON_JIT=1 trên Python 3.14.4, tập trung vào các callee được tạo bởi exec() và call site hot dùng chung của chúng. So sánh hành vi LOAD_ATTR_SLOT của specializer với việc các callee có được biên dịch hay không; được xem là hoàn tất khi workload hot-call được báo cáo cho thấy sự cải thiện JIT thông qua các hàm được tạo.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- compilers, performance
- Loại issue
- Lỗi
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100