aws / aws/sagemaker-python-sdk

Support local source for sagemaker.core.shapes.ProcessingInput

オープン
#5,672 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
2.3k
フォーク
1.3k
平均マージ
1日 22時間
マージ済み PR(30日)
35

説明

**Describe the feature you'd like**
Allow for `sagemaker.core.shapes.ProcessingInput` to accept local file path as input, for automatic uploading of input files to S3.

**How would this feature be used? Please describe.**
When migrating from sagemaker v2 to v3, the `sagemaker.processing.ProcessingInput` used in `sagemaker.workflow.steps.ProcessingStep.inputs()` is no longer applicable, replaced by `sagemaker.core.shapes.ProcessingInput` used in `sagemaker.core.processing.ScriptProcessor.run()`. `sagemaker.core.shapes.ProcessingInput` accepts only S3 path, which makes it more convoluted for the training pipeline process as the files involved in the pipeline have to be uploaded separately before the creation of the pipeline, instead of how it was done in v2's `sagemaker.processing.ProcessingInput` which uploads it while the pipeline is being built.

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず sagemaker.core.shapes.ProcessingInput と sagemaker.core.processing.ScriptProcessor.run() を追跡し、次に issue で説明されている v2 の sagemaker.processing.ProcessingInput とそれらの動作を比較します。パイプラインの構築中にローカルファイルパスをどのようにアップロードすべきかを判断し、既存の S3 入力が引き続き機能することを確認します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
aws, python
領域
cloud, machine-learning
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
静か
明瞭さ
おおむね明確
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。