On Windows, creating a multiprocessing pool leaks handles
Aberta
Ninguém assumiu esta issue ainda.
OS-windows
stdlib
topic-multiprocessing
type-bug
- Linguagem predominante
- Python
- Estrelas
- 77.2k
- Forks
- 35.9k
- Métricas de merge de PRs
- Métricas de PR pendentes
Descrição
Example:
import ctypes.wintypes
import gc
import multiprocessing.pool
kernel32 = ctypes.WinDLL('kernel32', use_last_error=True)
kernel32.GetCurrentProcess.argtypes = ()
kernel32.GetCurrentProcess.restype = ctypes.wintypes.HANDLE
kernel32.GetProcessHandleCount.argtypes = (ctypes.wintypes.HANDLE, ctypes.wintypes.LPDWORD)
kernel32.GetProcessHandleCount.restype = ctypes.wintypes.BOOL
def handle_count():
# Pseudo-handle that doesn't need to be closed
hproc = kernel32.GetCurrentProcess()
handle_count = ctypes.wintypes.DWORD()
if not kernel32.GetProcessHandleCount(hproc, ctypes.byref(handle_count)):
raise ctypes.WinError(ctypes.get_last_error())
return handle_count.value
def func():
pool = multiprocessing.pool.Pool(1)
pool.terminate()
pool.join()
pool.close()
pool = None
gc.collect()
def main():
print("Initial handle count:", handle_count())
for _ in range(4):
func()
print("Handle count:", handle_count())
if __name__ == "__main__":
main()
Output with Python 3.16 on Windows:
Initial handle count: 116
Handle count: 123
Handle count: 127
Handle count: 131
Handle count: 135
I discovered the issue while working on PR gh-154140 which detects leaks of Windows handles in the Python test suite.
Linked PRs
- gh-154365
Guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Direção de pesquisa
Comece reproduzindo main() e func() no Windows e, em seguida, rastreie a criação e a terminação de multiprocessing.pool.Pool para identificar quais handles permanecem abertos. Revise gh-154365 e o contexto do vazamento de handles de gh-154140. Considera-se concluído quando a criação repetida de pools não aumentar mais a contagem de handles do processo reportada.
Escrita pelo modelo de indexação a partir do texto da issue.
Avaliação
- Stack de tecnologia
- python
- Domínio
- operating-systems
- Tipo de issue
- Bug
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Status de atividade
- Estagnada
- Clareza
- Razoavelmente clara
- Facilidade para iniciantes
- 35/100