multiprocessing.Process cannot be closed if the process is reaped elsewhere
Nessuno ha ancora preso questa issue.
- Lingua principale
- Python
- Stelle
- 77.2k
- Fork
- 36k
- Metriche di merge delle PR
- Metriche PR in attesa
Descrizione
Here's a small reproducer where I start a multiprocessing.Process - then reap it with os.waitpid(
import os
import multiprocessing
import socket
import sys
ctx = multiprocessing.get_context("spawn")
def target(sock):
with sock:
sock.send(b"\x00")
sock.recv(1)
def main():
a, b = socket.socketpair()
with a, b:
with b:
proc = ctx.Process(target=target, args=(b, ))
proc.start()
assert a.recv(1) == b"\x00"
a.send(b"\x00")
os.waitpid(proc.pid, 0)
if sys.version_info >= (3, 7):
proc.close()
elif proc.is_alive():
raise RuntimeError("proc={proc} is still running".format(proc=proc))
if __name__ == "__main__":
sys.exit(main())
which results in:
Traceback (most recent call last):
File "/home/graingert/projects/distributed/demo.py", line 31, in <module>
sys.exit(main())
File "/home/graingert/projects/distributed/demo.py", line 25, in main
proc.close()
File "/home/graingert/miniconda3/lib/python3.9/multiprocessing/process.py", line 181, in close
raise ValueError("Cannot close a process while it is still running. "
ValueError: Cannot close a process while it is still running. You should first call join() or terminate().
One issue is the call to self._popen.poll() suppresses the OSError of a reaped process:
https://github.com/python/cpython/blob/b6558d768f19584ad724be23030603280f9e6361/Lib/multiprocessing/popen_fork.py#L26-L31
I think this can be fixed by checking the state of the multiprocessing.Process.sentinel instead of using os.waitpid
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Inizia con il reproducer dell’issue ed esamina Lib/multiprocessing/popen_fork.py, in particolare la gestione di _popen.poll(), insieme a multiprocessing.Process.close(). Analizza come un processo reaped esternamente viene rappresentato dal suo sentinel e confrontalo con il rilevamento dello stato basato su waitpid. Il lavoro è concluso quando il reproducer può eseguire il reaping esterno del processo figlio e quindi chiudere Process senza l’errato ValueError che indica che è ancora in esecuzione.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- operating-systems
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100