`_colorize` module is slow to import, affecting `traceback` and `logging` modules
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- Python
- Star
- 77.2k
- Fork
- 35.9k
- Chỉ số merge pull request
- Chỉ số pull request đang chờ
Mô tả
“It is a truth universally acknowledged, that a module in possession of great colors, suffers import time slowdown.
_colorize module is slow to import due to its use of dataclasses
python -Ximporttime -c "import _colorize"
Visualization in tuna
Notice that significant time is also spent executing the _colorize, due to the creation of its dataclasses
❯ uvx python@3.15 -m cProfile -m _colorize | head -15
5609 function calls (5489 primitive calls) in 0.006 seconds
Ordered by: cumulative time
ncalls tottime percall cumtime percall filename:lineno(function)
9/1 0.003 0.000 0.006 0.006 {built-in method builtins.exec}
1 0.000 0.000 0.006 0.006 <string>:1(<module>)
1 0.000 0.000 0.006 0.006 <frozen runpy>:199(run_module)
1 0.000 0.000 0.006 0.006 <frozen runpy>:65(_run_code)
1 0.000 0.000 0.006 0.006 _colorize.py:1(<module>)
7 0.000 0.000 0.005 0.001 dataclasses.py:1432(wrap)
7 0.000 0.000 0.005 0.001 dataclasses.py:986(_process_class)
7 0.000 0.000 0.003 0.000 dataclasses.py:478(add_fns_to_class)
4 0.000 0.000 0.001 0.000 inspect.py:3342(signature)
4 0.000 0.000 0.001 0.000 inspect.py:3055(from_callable)
The slow import time directly affects (among others) the traceback module which in turn affects logging, which is 40% slower in 3.14 and 3.15 compared to 3.13. That is quite unfortunate since in applications that care about import time, logging module is typically hard to avoid (I originally discovered this when looking at pip's startup time)
hyperfine -w 10 "python3.13 -c 'import logging'" "python3.15 -c 'import logging'"
Benchmark 1: python3.13 -c 'import logging'
Time (mean ± σ): 21.0 ms ± 3.4 ms [User: 14.8 ms, System: 5.9 ms]
Range (min … max): 16.2 ms … 28.2 ms 155 runs
Benchmark 2: python3.15 -c 'import logging'
Time (mean ± σ): 29.6 ms ± 2.1 ms [User: 22.2 ms, System: 7.0 ms]
Range (min … max): 26.4 ms … 35.1 ms 100 runs
Summary
python3.13 -c 'import logging' ran
1.40 ± 0.25 times faster than /home/hollas/.local/share/uv/python/cpython-3.15.0a5-linux-x86_64-gnu/bin/python3.15 -c 'import logging'
It's not very clear how to make this better (besides not using dataclasses). We tried to make traceback lazy in logging, but failed. #112995
Linked PRs
- gh-144879
- gh-149318
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Bắt đầu với mô-đun _colorize và tái tạo cấu hình import của mô-đun này bằng python -Ximporttime -c "import _colorize" và lệnh cProfile được nêu. So sánh các benchmark của logging, sau đó xem xét các PR được liên kết gh-144879 và gh-149318; được coi là hoàn tất khi giảm được overhead import ảnh hưởng đến _colorize, traceback và logging.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- performance
- Loại issue
- Lỗi
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 25/100