Uses a higher granularity than seconds for `.pyc` file invalidation
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- Python
- Star
- 77.2k
- Fork
- 35.9k
- Chỉ số merge pull request
- Chỉ số pull request đang chờ
Mô tả
Bug report
Bug description:
reproduction:
#!/bin/sh
mkdir -p src
rm -fr src/__pycache__
rm -fr __pycache__
echo 'from src.test import f' > main.py
echo 'print(f())' >> main.py
echo 'def f():' > src/test.py
echo ' return "Hello!"' >> src/test.py
# prints "Hello!"
python3 main.py
echo 'def f():' > src/test.py
echo ' return "Goodbye!"' >> src/test.py
# also prints "Hello!", but note the file does not say that anymore
python3 main.py
(this is probably sensitive to how fast your computer is)
this seems to stem from (i guess) that the timestamps are 32-bit, and write the current second (unix time, as 32-bit). and then, when the file is edited and the python script runs again, it gets a cache hit (same timestamp as file 32-bit mtime) and yields the old content.
is this known/intended? is there a mitigation that isn't just "delete the pycache"? i tried looking if anyone else ran into this and could not find anything.
i ran into this as part of a workflow that first edited a python script via shell (edits mtime), then invoked python on it (updates pyc to that mtime), then that python invocation updates the same script a second time and those changes were weirdly lost and confused me for a while. after having to delete the pycache a few times, i looked into it and ended up at (seemingly) this issue.
also (not relevant), having not looked at the code, what happens in 2038 when 64-bit file timestamps go over the 32-bit value? will the pyc just wrap around or is there some other planned handling?
maybe this format should be updated to 64-bit milliseconds (this seems.. difficult, maybe a new magic?) (and technically milliseconds can also race, though python is usually not fast enough to hit that), or perhaps the pycache should be invalidated when the mtime matches (but this would loop a bunch of times when the script is ran multiple times on the same second until current time is 1 second later than the filetime)
CPython versions tested on:
3.12
Operating systems tested on:
Linux
Linked PRs
- gh-121502
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Chạy bản tái hiện trong shell với CPython 3.12 và kiểm tra việc vô hiệu hóa .pyc cùng xử lý dấu thời gian liên quan đến import cache. So sánh hành vi với PR được liên kết gh-121502; công việc được xem là hoàn tất khi các lần chỉnh sửa lặp lại trong cùng một giây không còn thực thi mã nguồn cũ và các trường hợp biên liên quan đã được bao phủ.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- tooling
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100