conductor-oss / conductor-oss/python-sdk

Support for asyncio based workers

Đang mở
#167 1 bình luận 3 reaction 0 người được giao Xem trên GitHub
enhancement
Ngôn ngữ chính
Python
Star
104
Fork
42
Merge trung bình
2 ngày 1 giờ
Pull request đã merge (30 ngày)
3

Mô tả

The current worker implementation model uses multiprocessing for parallel execution but each process blocks on task execution (though it might be waiting on I/O). Is there a possibility to use asyncio/threaded approach to alleviate this problem and think of a model where processes could be used for parallelization (using multiple cores) and each process has an event loop/ThreadPool to poll and execute tasks to maximize performance on each core ?

I'd be happy to discuss more on this and submit a PR if required as well. Thanks for all the awesome work so far 👍

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.