aws / aws/sagemaker-python-sdk

Enable processing and/or memory optimized instances when using sagemaker.remote_function's @remote decorator

オープン
#4,040 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
component: training remote-function type: feature request
主要言語
Python
スター
2.3k
フォーク
1.3k
平均マージ
1日 22時間
マージ済み PR(30日)
35

説明

**Describe the feature you'd like**
Currently only training instances are allowed when using @remote (from the sagemaker.remote_function module). This module can be used for processing tasks as well, so it would be useful to have more instance types available.

**How would this feature be used? Please describe.**
Using instances with more than 256GB that don't need GPU acceleration for processing tasks. These are only available as Processing instances as far as I know (and are referred as Memory optimized instances there).

**Describe alternatives you've considered**
We can use Sagemaker Processing jobs, and we currently do that. The downside is that local mode is not enabled when using Sagemaker studio, so it can be a little clunky to develop scripts locally before submitting then to a processing task. This is much easier when using @remote, since we can execute code directly without the need of mapping inputs/outputs, etc. Code for local testing and remote execution could be very similar if not identical in this case.

**Additional context**
In case this is not clear, I'm referring to this functionality: https://docs.aws.amazon.com/sagemaker/latest/dg/train-remote-decorator.html

Link to the instance types available here: https://aws.amazon.com/sagemaker/pricing/

@jmahlik

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

sagemaker.remote_function モジュールとその @remote デコレーターから始め、受け付けられるインスタンスタイプを、issue にリンクされている SageMaker の remote デコレーターのドキュメントと比較します。@remote が処理タスク向けに Processing インスタンスと Memory-Optimized インスタンスをサポートし、既存のトレーニング動作を維持できれば完了です。リポジトリに関連するテストがある場合は、対象を絞ったカバレッジを追加してください。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
aws, machine-learning, python
領域
cloud, machine-learning
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
38/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。