aws / aws/sagemaker-python-sdk

Support local source for sagemaker.core.shapes.ProcessingInput

Đang mở
#5,672 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Python
Star
2.3k
Fork
1.3k
Merge trung bình
1 ngày 22 giờ
Pull request đã merge (30 ngày)
35

Mô tả

**Describe the feature you'd like**
Allow for `sagemaker.core.shapes.ProcessingInput` to accept local file path as input, for automatic uploading of input files to S3.

**How would this feature be used? Please describe.**
When migrating from sagemaker v2 to v3, the `sagemaker.processing.ProcessingInput` used in `sagemaker.workflow.steps.ProcessingStep.inputs()` is no longer applicable, replaced by `sagemaker.core.shapes.ProcessingInput` used in `sagemaker.core.processing.ScriptProcessor.run()`. `sagemaker.core.shapes.ProcessingInput` accepts only S3 path, which makes it more convoluted for the training pipeline process as the files involved in the pipeline have to be uploaded separately before the creation of the pipeline, instead of how it was done in v2's `sagemaker.processing.ProcessingInput` which uploads it while the pipeline is being built.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu bằng cách lần theo sagemaker.core.shapes.ProcessingInput và sagemaker.core.processing.ScriptProcessor.run(), sau đó so sánh hành vi của chúng với sagemaker.processing.ProcessingInput của v2 được mô tả trong issue. Xác định cách một đường dẫn tệp cục bộ cần được tải lên trong khi pipeline được xây dựng, và xác minh rằng các đầu vào S3 hiện có vẫn tiếp tục hoạt động.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
aws, python
Lĩnh vực
cloud, machine-learning
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Ít trao đổi
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
45/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.