aws / aws/sagemaker-python-sdk

Enable processing and/or memory optimized instances when using sagemaker.remote_function's @remote decorator

Đang mở
#4,040 1 bình luận 0 reaction 0 người được giao Xem trên GitHub
component: training remote-function type: feature request
Ngôn ngữ chính
Python
Star
2.3k
Fork
1.3k
Merge trung bình
1 ngày 22 giờ
Pull request đã merge (30 ngày)
35

Mô tả

**Describe the feature you'd like**
Currently only training instances are allowed when using @remote (from the sagemaker.remote_function module). This module can be used for processing tasks as well, so it would be useful to have more instance types available.

**How would this feature be used? Please describe.**
Using instances with more than 256GB that don't need GPU acceleration for processing tasks. These are only available as Processing instances as far as I know (and are referred as Memory optimized instances there).

**Describe alternatives you've considered**
We can use Sagemaker Processing jobs, and we currently do that. The downside is that local mode is not enabled when using Sagemaker studio, so it can be a little clunky to develop scripts locally before submitting then to a processing task. This is much easier when using @remote, since we can execute code directly without the need of mapping inputs/outputs, etc. Code for local testing and remote execution could be very similar if not identical in this case.

**Additional context**
In case this is not clear, I'm referring to this functionality: https://docs.aws.amazon.com/sagemaker/latest/dg/train-remote-decorator.html

Link to the instance types available here: https://aws.amazon.com/sagemaker/pricing/

@jmahlik

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu với module sagemaker.remote_function và decorator @remote của nó, sau đó so sánh các loại instance được chấp nhận với tài liệu về remote decorator của SageMaker được liên kết trong issue. Công việc được xem là hoàn tất khi @remote hỗ trợ các instance processing và memory-optimized cho các tác vụ processing, đồng thời vẫn giữ nguyên hành vi training hiện có; hãy bổ sung coverage tập trung nếu repository có các test liên quan.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
aws, machine-learning, python
Lĩnh vực
cloud, machine-learning
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
38/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.