conductor-oss / conductor-oss/python-sdk

Support for asyncio based workers

Aberta
#167 1 comentário 3 reações 0 responsáveis Ver no GitHub
enhancement
Linguagem predominante
Python
Estrelas
104
Forks
42
Merge médio
2d 1h
PRs com merge (30d)
3

Descrição

The current worker implementation model uses multiprocessing for parallel execution but each process blocks on task execution (though it might be waiting on I/O). Is there a possibility to use asyncio/threaded approach to alleviate this problem and think of a model where processes could be used for parallelization (using multiple cores) and each process has an event loop/ThreadPool to poll and execute tasks to maximize performance on each core ?

I'd be happy to discuss more on this and submit a PR if required as well. Thanks for all the awesome work so far 👍

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.