conductor-oss / conductor-oss/python-sdk

Support for asyncio based workers

Offen
#167 1 Kommentar 3 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Python
Sterne
104
Forks
42
Ø Merge
2 T. 1 Std.
Gemergte PRs (30 T.)
3

Beschreibung

The current worker implementation model uses multiprocessing for parallel execution but each process blocks on task execution (though it might be waiting on I/O). Is there a possibility to use asyncio/threaded approach to alleviate this problem and think of a model where processes could be used for parallelization (using multiple cores) and each process has an event loop/ThreadPool to poll and execute tasks to maximize performance on each core ?

I'd be happy to discuss more on this and submit a PR if required as well. Thanks for all the awesome work so far 👍

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.