Performance regression of pathlib.Path hashing
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- Python
- Star
- 77.2k
- Fork
- 35.9k
- Chỉ số merge pull request
- Chỉ số pull request đang chờ
Mô tả
Bug report
Bug description:
Converting a list of pathlib.Path objects to a set() takes significantly more time in python 3.12 and beyond compared to 3.11.
The below code is a minimal reproduction:
from pathlib import Path
import time
import sys
print(sys.version)
# make 6000 paths as a string
paths_str = ["/tmp/foo/bar/{i}" for i in range(1000, 7000)]
t = time.perf_counter()
# convert it to a list of Path objects
paths_path = [Path(path) for path in paths_str]
elapsed = time.perf_counter() - t
print(f"List construct: {int(elapsed * 1000)} msec")
# convert list to set
t = time.perf_counter()
set(paths_path)
elapsed = time.perf_counter() - t
print(f"Set conversion: {int(elapsed * 1000)} msec")
# extra step: convert list to set (demonstrate caching makes it faster)
t = time.perf_counter()
set(paths_path)
elapsed = time.perf_counter() - t
print(f"Set conversion (cached): {int(elapsed * 1000)} msec")
It shows with 3.12:
3.12.11 (main, Jun 3 2025, 15:41:47) [GCC 14.3.0]
List construct: 5 msec
Set conversion: 28 msec
Set conversion (cached): 1 msec
With 3.14rc1 (similar):
3.14.0rc1 (main, Jul 22 2025, 16:42:44) [GCC 14.3.0]
List construct: 4 msec
Set conversion: 26 msec
Set conversion (cached): 1 msec
But with python 3.11 (faster):
3.11.13 (main, Jun 3 2025, 18:38:25) [GCC 14.3.0]
List construct: 12 msec
Set conversion: 8 msec
Set conversion (cached): 1 msec
I also found that not only hash() got worse but str() as well - if you replace the set() call with a [str(p) for p in paths_path].
I found a possible candidate for this issue, but that's more just a theory, I could not test it:
https://github.com/python/cpython/commit/a68e585c8b7b27323f67905868467ce0588a1dae
Could you please check what causes this?
I think newer python versions should not make the code slower, pathlib.Path is a great object (much superior than str) and now using lots of paths with a set or dict (which are also powerful data structures) kills the performance.
If you need any help, let me know.
Thank you,
Zsolt
CPython versions tested on:
3.12
Operating systems tested on:
Linux
Linked PRs
- gh-138645
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Bắt đầu với benchmark pathlib.Path đã được báo cáo, so sánh hashing và chuyển đổi chuỗi trên Python 3.11, 3.12 và 3.14. Xem xét commit bị nghi ngờ a68e585c8b7b27323f67905868467ce0588a1dae và PR được liên kết gh-138645. Hoàn thành có nghĩa là xác định được regression và khôi phục hiệu năng tương đương cho set, hash và chuyển đổi chuỗi.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- performance
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 25/100