aws / aws/sagemaker-python-sdk

Add output_data property to EstimatorBase class

オープン
#1,936 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
contributions welcome type: feature request
主要言語
Python
スター
2.3k
フォーク
1.3k
平均マージ
1日 22時間
マージ済み PR(30日)
35

説明

**Describe the feature you'd like**

As documented here:
https://sagemaker.readthedocs.io/en/stable/api/training/estimators.html#sagemaker.estimator.EstimatorBase.model_data, the `EstimatorBase` class provides a convenient method to pointing to the model .tar.gz archive location in S3 once `estimator.fit()` has been called.

Additionally to model data, SageMaker provides the ability to generate "output data" (different from "model data") when dumping files during training (e.g. experiment logs) to the directory defined by the environment variable `SM_OUTPUT_DATA_DIR`

Having a similar property in the `EstimatorBase` class, pointing to the output data .tar.gz archive location in S3 would be useful for developers wishing to manipulate that archive. It could be named, for example, `estimator.output_data`

**How would this feature be used? Please describe.**

Example use case:
1. Fit an estimator
2. During training, dump some files of interest to output data dir
3. Files are archived in output.tar.gz by SageMaker after .fit()
4. Access S3 location by using `estimator.output_data` and download output data archive locally.
5. Use output data archive locally, e.g. consult experiment logs

**Describe alternatives you've considered**

Compute the output_data location manually (potentially re-using the `.model_data` property)

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず EstimatorBase の model_data プロパティと、output.tar.gz の S3 ロケーションを決定する fit() のフローを読みます。トレーニング後に SM_OUTPUT_DATA_DIR がどのようにアーカイブされるかを追跡し、その後、新しい output_data プロパティが fit() の完了後にそのアーカイブロケーションを公開することを確認します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
aws, python
領域
cloud, machine-learning
issue の種類
機能追加
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。