aws / aws/sagemaker-python-sdk
Enable processing and/or memory optimized instances when using sagemaker.remote_function's @remote decorator
- Lingua principale
- Python
- Stelle
- 2.3k
- Fork
- 1.3k
- Merge medio
- 1g 22h
- PR unite (30g)
- 35
Descrizione
**Describe the feature you'd like**
Currently only training instances are allowed when using @remote (from the sagemaker.remote_function module). This module can be used for processing tasks as well, so it would be useful to have more instance types available.
**How would this feature be used? Please describe.**
Using instances with more than 256GB that don't need GPU acceleration for processing tasks. These are only available as Processing instances as far as I know (and are referred as Memory optimized instances there).
**Describe alternatives you've considered**
We can use Sagemaker Processing jobs, and we currently do that. The downside is that local mode is not enabled when using Sagemaker studio, so it can be a little clunky to develop scripts locally before submitting then to a processing task. This is much easier when using @remote, since we can execute code directly without the need of mapping inputs/outputs, etc. Code for local testing and remote execution could be very similar if not identical in this case.
**Additional context**
In case this is not clear, I'm referring to this functionality: https://docs.aws.amazon.com/sagemaker/latest/dg/train-remote-decorator.html
Link to the instance types available here: https://aws.amazon.com/sagemaker/pricing/
@jmahlik
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia dal modulo sagemaker.remote_function e dal relativo decoratore @remote, quindi confronta i tipi di istanza accettati con la documentazione di SageMaker sul decoratore remote collegata nell’issue. Il lavoro è completato quando @remote supporta le istanze di elaborazione e ottimizzate per la memoria per le attività di elaborazione, mantenendo il comportamento di training esistente; aggiungi una copertura mirata se il repository contiene test pertinenti.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- aws, machine-learning, python
- Ambito
- cloud, machine-learning
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 38/100