Deadlock when shutting down ThreadPoolExecutor from inside OS Signal handler
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- Python
- Star
- 77.2k
- Fork
- 35.9k
- Chỉ số merge pull request
- Chỉ số pull request đang chờ
Mô tả
Bug report
Bug description:
When running the code below and sending a SIGTERM to the process results in what looks like a deadlock on the ThreadPoolExecutor._shutdown_lock. I guess the issue is that the SIGTERM is being handled in main thread while in the submit function where the _shutdown_lock is already locked. When I try calling shutdown inside the signal handler it waits forever.
TBH I'm not sure if this is a bug or expected behavior but I wanted to file this anyways. Thanks!
from concurrent.futures import ThreadPoolExecutor
import signal
def main():
with ThreadPoolExecutor(max_workers=2) as executor:
def __exit(signal, frame):
executor.shutdown(wait=True, cancel_futures=True)
signal.signal(signal.SIGTERM, __exit)
while True:
executor.submit(lambda: 1 + 1)
if __name__ == "__main__":
main()
AFTER sending SIGTERM to the process, this is what pystack shows:
(v) rbost@fedora:~/code/CheckDuplicate$ pystack remote 3431749
Traceback for thread 3431751 (python) [] (most recent call last):
(Python) File "/usr/lib64/python3.12/threading.py", line 1030, in _bootstrap
self._bootstrap_inner()
(Python) File "/usr/lib64/python3.12/threading.py", line 1073, in _bootstrap_inner
self.run()
(Python) File "/usr/lib64/python3.12/threading.py", line 1010, in run
self._target(*self._args, **self._kwargs)
(Python) File "/usr/lib64/python3.12/concurrent/futures/thread.py", line 89, in _worker
work_item = work_queue.get(block=True)
Traceback for thread 3431750 (python) [] (most recent call last):
(Python) File "/usr/lib64/python3.12/threading.py", line 1030, in _bootstrap
self._bootstrap_inner()
(Python) File "/usr/lib64/python3.12/threading.py", line 1073, in _bootstrap_inner
self.run()
(Python) File "/usr/lib64/python3.12/threading.py", line 1010, in run
self._target(*self._args, **self._kwargs)
(Python) File "/usr/lib64/python3.12/concurrent/futures/thread.py", line 89, in _worker
work_item = work_queue.get(block=True)
Traceback for thread 3431749 (python) [] (most recent call last):
(Python) File "/home/rbost/code/CheckDuplicate/test.py", line 18, in <module>
main()
(Python) File "/home/rbost/code/CheckDuplicate/test.py", line 14, in main
executor.submit(lambda: 1 + 1)
(Python) File "/usr/lib64/python3.12/concurrent/futures/thread.py", line 175, in submit
f = _base.Future()
(Python) File "/usr/lib64/python3.12/concurrent/futures/_base.py", line 328, in __init__
def __init__(self):
(Python) File "/home/rbost/code/CheckDuplicate/test.py", line 9, in __exit
executor.shutdown(wait=True, cancel_futures=True)
(Python) File "/usr/lib64/python3.12/concurrent/futures/thread.py", line 220, in shutdown
with self._shutdown_lock:
CPython versions tested on:
3.12
Operating systems tested on:
Linux
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Tái hiện ví dụ SIGTERM được cung cấp, sau đó kiểm tra concurrent/futures/thread.py quanh ThreadPoolExecutor.submit(), shutdown() và _shutdown_lock. Issue không định nghĩa hành vi được mong đợi của signal handler và cũng không nêu tên một test nào; để tiến triển, cần thống nhất về hành vi đó và thêm một regression test cho thấy quá trình hoàn tất mà không xảy ra deadlock đã được báo cáo.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- backend, operating-systems
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100