aws / aws/sagemaker-python-sdk
Enable processing and/or memory optimized instances when using sagemaker.remote_function's @remote decorator
- Ngôn ngữ chính
- Python
- Star
- 2.3k
- Fork
- 1.3k
- Merge trung bình
- 1 ngày 22 giờ
- Pull request đã merge (30 ngày)
- 35
Mô tả
**Describe the feature you'd like**
Currently only training instances are allowed when using @remote (from the sagemaker.remote_function module). This module can be used for processing tasks as well, so it would be useful to have more instance types available.
**How would this feature be used? Please describe.**
Using instances with more than 256GB that don't need GPU acceleration for processing tasks. These are only available as Processing instances as far as I know (and are referred as Memory optimized instances there).
**Describe alternatives you've considered**
We can use Sagemaker Processing jobs, and we currently do that. The downside is that local mode is not enabled when using Sagemaker studio, so it can be a little clunky to develop scripts locally before submitting then to a processing task. This is much easier when using @remote, since we can execute code directly without the need of mapping inputs/outputs, etc. Code for local testing and remote execution could be very similar if not identical in this case.
**Additional context**
In case this is not clear, I'm referring to this functionality: https://docs.aws.amazon.com/sagemaker/latest/dg/train-remote-decorator.html
Link to the instance types available here: https://aws.amazon.com/sagemaker/pricing/
@jmahlik
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu với module sagemaker.remote_function và decorator @remote của nó, sau đó so sánh các loại instance được chấp nhận với tài liệu về remote decorator của SageMaker được liên kết trong issue. Công việc được xem là hoàn tất khi @remote hỗ trợ các instance processing và memory-optimized cho các tác vụ processing, đồng thời vẫn giữ nguyên hành vi training hiện có; hãy bổ sung coverage tập trung nếu repository có các test liên quan.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- aws, machine-learning, python
- Lĩnh vực
- cloud, machine-learning
- Loại issue
- Tính năng
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 38/100