multiprocessing.Process() with method fork() works not the same with os.fork() on unloading of .so files
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- Python
- Star
- 77.2k
- Fork
- 35.9k
- Chỉ số merge pull request
- Chỉ số pull request đang chờ
Mô tả
Bug report
Bug description:
I have a c/cpp file and compile it with pybind to get a so named xyz_test.cpython-311-x86_64-linux-gnu.so so that I can import it(xyz_test) and call a method named xyz_test.call() in Python code .
I use it with multiprocessing.Process() or os.fork(), but the unload process of this so is different:
with multiprocessing.setset_start_method('fork') and multiprocessing.Process(), this so is only unloaded while the parent process is terminated.
with os.fork(), this so is unloaded both while the child process and the parent process are terminated.
The behavior with os.fork() is the same with what I test on C code with C fork(), so is the behavior a bug with multiprocessing.Process() ?
Thank you!
# main_os_fork.py
import xyz_test
import os
import time
def func():
pid = os.getpid()
print(f'=== pid = {pid}, this is python func')
xyz_test.callTLS()
if __name__ == '__main__':
pid = os.getpid()
print(f'=== pid = {pid}, this is python main')
xyz_test.callTLS()
fork_pid = os.fork()
if fork_pid == 0:
func()
else:
time.sleep(1)
# main_mp_fork.py
import xyz_test
import multiprocessing
import os
import time
def func():
pid = os.getpid()
print(f'=== pid = {pid}, this is python func')
xyz_test.callTLS()
time.sleep(10*60)
if __name__ == '__main__':
pid = os.getpid()
print(f'=== pid = {pid}, this is python main')
xyz_test.callTLS()
multiprocessing.set_start_method('fork')
child = multiprocessing.Process(target=func)
child.start()
child.join()
# xyz_test.h
#ifndef SHARED_OBJ_H_
#define SHARED_OBJ_H_
#define PID_LOG(STR) \
auto pid = getpid(); \
printf("=== pid is %d, %s\n", pid, STR);
#define PRINT_ADDR() \
printf("\t now addr is %p\n", this);
void callTLS();
class A {
public:
A();
~A();
void call();
private:
int a = 0;
};
#endif
# xyz_test.cc
#include "shared_obj.h"
#include <stdio.h>
#include <sys/types.h>
#include <sys/wait.h>
#include <unistd.h>
#include <thread>
#include <iostream>
static thread_local A test;
void __attribute__((constructor)) init() {
PID_LOG("so is loaded.");
}
void __attribute__((destructor)) fini() {
PID_LOG("so is unloaded.");
}
A::A() {
PID_LOG("this is A::A().");
PRINT_ADDR();
}
A::~A() {
PID_LOG("this is A::~A().");
PRINT_ADDR();
}
void A::call() {
PID_LOG("this is A::call().")
PRINT_ADDR();
}
void callTLS() {
test.call();
}
CPython versions tested on:
3.11
Operating systems tested on:
Linux
Linked PRs
- gh-127246
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Bắt đầu với main_os_fork.py và main_mp_fork.py, sau đó xem xét extension xyz_test.cc và so sánh output unload của chúng trên Linux với Python 3.11. Kiểm tra PR được liên kết gh-127246 và xác định liệu hành vi teardown khác nhau của .so có được mong đợi hay cần một regression test và bản sửa lỗi.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- cpp, linux, python
- Lĩnh vực
- operating-systems
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100