On Windows, creating a multiprocessing pool leaks handles
Offen
Dieses Issue hat noch niemand übernommen.
OS-windows
stdlib
topic-multiprocessing
type-bug
- Vorherrschende Sprache
- Python
- Sterne
- 77.2k
- Forks
- 35.9k
- PR-Merge-Kennzahlen
- PR-Kennzahlen ausstehend
Beschreibung
Example:
import ctypes.wintypes
import gc
import multiprocessing.pool
kernel32 = ctypes.WinDLL('kernel32', use_last_error=True)
kernel32.GetCurrentProcess.argtypes = ()
kernel32.GetCurrentProcess.restype = ctypes.wintypes.HANDLE
kernel32.GetProcessHandleCount.argtypes = (ctypes.wintypes.HANDLE, ctypes.wintypes.LPDWORD)
kernel32.GetProcessHandleCount.restype = ctypes.wintypes.BOOL
def handle_count():
# Pseudo-handle that doesn't need to be closed
hproc = kernel32.GetCurrentProcess()
handle_count = ctypes.wintypes.DWORD()
if not kernel32.GetProcessHandleCount(hproc, ctypes.byref(handle_count)):
raise ctypes.WinError(ctypes.get_last_error())
return handle_count.value
def func():
pool = multiprocessing.pool.Pool(1)
pool.terminate()
pool.join()
pool.close()
pool = None
gc.collect()
def main():
print("Initial handle count:", handle_count())
for _ in range(4):
func()
print("Handle count:", handle_count())
if __name__ == "__main__":
main()
Output with Python 3.16 on Windows:
Initial handle count: 116
Handle count: 123
Handle count: 127
Handle count: 131
Handle count: 135
I discovered the issue while working on PR gh-154140 which detects leaks of Windows handles in the Python test suite.
Linked PRs
- gh-154365
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne damit, main() und func() unter Windows zu reproduzieren, und verfolge dann die Erstellung und Beendigung von multiprocessing.pool.Pool, um festzustellen, welche Handles geöffnet bleiben. Lies gh-154365 und den Kontext zum Handle-Leak aus gh-154140. Als erledigt gilt die Aufgabe, wenn wiederholtes Erstellen von Pools die gemeldete Anzahl der Prozess-Handles nicht mehr erhöht.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- operating-systems
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100