apache / apache/dolphinscheduler-sdk-python
[impv] Auto create the whole task workspace to make the task the same workspace when running locally and on the DolphinScheduler platform
- Ngôn ngữ chính
- Python
- Star
- 71
- Fork
- 26
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
For example, If I have the workspace like this: https://github.com/pytorch/examples/tree/main/word_language_model

We can submit the task
```python
# [start workflow]
from pydolphinscheduler.core import Workflow
from pydolphinscheduler.core.resource import Resource, LocalResource
from pydolphinscheduler.tasks import Shell
with Workflow(
name="auto_resources_example",
) as workflow:
# [start use_exists_resources]
task_use_resource = Shell(
name="example",
command=f"python main.py --cuda",
auto_resource=True
)
# [end use_exists_resources]
workflow.run()
# [end workflow]
```
Then, all the files will be uploaded to the resource center.
And there is another best way to track the file version, If this is the git repository, we only record the git repository, version, and diff.
Then, we can reproduce the workspace in dolphinscheduler. (Inspired by ClearML)
So, After developing a project locally, we can directly submit it to DolphinScheduler and run it directly. Except for some inconsistent environment variables.
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu với các entry point pydolphinscheduler.core.Workflow và tasks.Shell được thể hiện trong ví dụ, bao gồm workflow.run() và auto_resource=True; workspace mẫu là word_language_model với main.py. Xác định cách Resource Center hiện nhận các tệp, sau đó định nghĩa những gì cần thiết để một phiên bản workspace cục bộ hoặc repository Git và diff của nó có thể được tái lập trên DolphinScheduler, đồng thời tính đến các biến môi trường không nhất quán.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- git, python
- Lĩnh vực
- backend, devops
- Loại issue
- Tính năng
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100