apache / apache/dolphinscheduler-sdk-python

[impv] Auto create the whole task workspace to make the task the same workspace when running locally and on the DolphinScheduler platform

Aberta
#59 0 comentários 1 reação 0 responsáveis Ver no GitHub
Linguagem predominante
Python
Estrelas
71
Forks
26
Métricas de merge de PRs
Nenhum PR com merge em 30d

Descrição

For example, If I have the workspace like this: https://github.com/pytorch/examples/tree/main/word_language_model
image

We can submit the task
```python
# [start workflow]
from pydolphinscheduler.core import Workflow
from pydolphinscheduler.core.resource import Resource, LocalResource
from pydolphinscheduler.tasks import Shell

with Workflow(
name="auto_resources_example",
) as workflow:
# [start use_exists_resources]
task_use_resource = Shell(
name="example",
command=f"python main.py --cuda",
auto_resource=True
)
# [end use_exists_resources]

workflow.run()
# [end workflow]
```

Then, all the files will be uploaded to the resource center.
And there is another best way to track the file version, If this is the git repository, we only record the git repository, version, and diff.
Then, we can reproduce the workspace in dolphinscheduler. (Inspired by ClearML)
So, After developing a project locally, we can directly submit it to DolphinScheduler and run it directly. Except for some inconsistent environment variables.

Guia de contribuição

Abrir o guia de contribuição

Direção de pesquisa

Comece pelos pontos de entrada pydolphinscheduler.core.Workflow e tasks.Shell mostrados no exemplo, incluindo workflow.run() e auto_resource=True; o workspace de exemplo é word_language_model com main.py. Determine como o Resource Center recebe arquivos atualmente e, em seguida, defina o que é necessário para que uma versão de um workspace local ou de um repositório Git, e seu diff, sejam reproduzíveis no DolphinScheduler, levando em conta variáveis de ambiente inconsistentes.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
git, python
Domínio
backend, devops
Tipo de issue
Funcionalidade
Dificuldade
5/5
Tempo estimado
Mais de uma semana
Status de atividade
Estagnada
Clareza
Razoavelmente clara
Facilidade para iniciantes
35/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.