aws / aws/sagemaker-python-sdk

Add output_data property to EstimatorBase class

Ouverte
#1,936 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub
contributions welcome type: feature request
Langage dominant
Python
Étoiles
2.3k
Forks
1.3k
Merge moyen
1 j 22 h
PR mergées (30 j)
35

Description

**Describe the feature you'd like**

As documented here:
https://sagemaker.readthedocs.io/en/stable/api/training/estimators.html#sagemaker.estimator.EstimatorBase.model_data, the `EstimatorBase` class provides a convenient method to pointing to the model .tar.gz archive location in S3 once `estimator.fit()` has been called.

Additionally to model data, SageMaker provides the ability to generate "output data" (different from "model data") when dumping files during training (e.g. experiment logs) to the directory defined by the environment variable `SM_OUTPUT_DATA_DIR`

Having a similar property in the `EstimatorBase` class, pointing to the output data .tar.gz archive location in S3 would be useful for developers wishing to manipulate that archive. It could be named, for example, `estimator.output_data`

**How would this feature be used? Please describe.**

Example use case:
1. Fit an estimator
2. During training, dump some files of interest to output data dir
3. Files are archived in output.tar.gz by SageMaker after .fit()
4. Access S3 location by using `estimator.output_data` and download output data archive locally.
5. Use output data archive locally, e.g. consult experiment logs

**Describe alternatives you've considered**

Compute the output_data location manually (potentially re-using the `.model_data` property)

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par lire la propriété model_data de EstimatorBase et le flux de fit() qui détermine l’emplacement S3 de output.tar.gz. Suivez la manière dont SM_OUTPUT_DATA_DIR est archivé après l’entraînement, puis vérifiez que la nouvelle propriété output_data expose cet emplacement d’archive une fois fit() terminé.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
aws, python
Domaine
cloud, machine-learning
Type d'issue
Fonctionnalité
Difficulté
3/5
Temps estimé
1-2 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.