07th-mod / 07th-mod/python-patcher
Windows: file operations don't always succeed as expected
- Ngôn ngữ chính
- JavaScript
- Star
- 214
- Fork
- 12
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
### Problems
- shutil.rmtree or os.remove does not always ensure that files are fully removed after function returns
- remove may take multiple attempts to succeed
- mkdir(path, exist_ok=True) might have a race condition if it is called just after the folder is "removed"
### Related Issues
- https://github.com/07th-mod/python-patcher/issues/33#issuecomment-489390131 "07th Mod - Install failed due to error: [WinError 145] The directory is not empty"
### Description
I noticed that sometimes in `travis_build_script.py`, try_remove_tree() didn't always remove the file immediately (the file would exist for some time after the function was called. The function used to be defined like this:
```python
def try_remove_tree(path):
try:
if os.path.isdir(path):
shutil.rmtree(path)
else:
os.remove(path)
except FileNotFoundError:
pass
```
but I changed it to this
```python
def try_remove_tree(path):
try:
if os.path.isdir(path):
shutil.rmtree(path)
else:
os.remove(path)
except FileNotFoundError:
pass
# Make sure the folder is really removed
poll_cnt = 0
while os.path.exists(path):
print(f"Waiting for {path} to be removed ({poll_cnt})")
if poll_cnt < 5:
time.sleep(1)
else:
raise Exception(f"Folder {path} could not be removed!")
poll_cnt += 1
```
The `# Make sure the folder is really removed` did trigger on my machine (at least once), and after 1 second the file was "properly" removed.
If this behavior can happen on windows, we should also update the installer scripts, which use the same functions, to add this kind of functionality.
The installer scripts currently don't do multiple attempts when doing operations like extraction, deletion etc, so it may be worth checking for those sort of issues as well.
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Xem travis_build_script.py để tìm hàm try_remove_tree và các tập lệnh cài đặt thực hiện thao tác tệp. Hiểu các điều kiện chạy đua (race condition) đặc thù Windows với shutil.rmtree và os.remove. Kiểm tra cơ chế polling và cân nhắc áp dụng nó cho các thao tác tệp khác trong codebase.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- cli, tooling
- Loại issue
- Lỗi
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 45/100