aws / aws/sagemaker-python-sdk

Support Conditional Hyperparameter in AMT

Aperta
#4,058 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
component: training type: feature request
Lingua principale
Python
Stelle
2.3k
Fork
1.3k
Merge medio
1g 22h
PR unite (30g)
35

Descrizione

**Describe the feature you'd like**

Hyperparameter tuning frameworks like [optuna](https://optuna.org/) and google's [vertex AI](https://cloud.google.com/vertex-ai/docs/training/hyperparameter-tuning-overview#conditional_hyperparameters) all support some form of conditional hyperparameter. Could you consider supporting this feature in some capacity?

**How would this feature be used? Please describe.**

For instance, in training a cnn, we can define hyperparameters conditional on their parent hyperparameter matching some condition:

```
search_space = {}
if optimizer == 'adam':
search_space['adam_beta_1'] = range(...)
search_space['adam_beta_2'] = range(...)
elif optimizer == 'sgd':
...
```

**Describe alternatives you've considered**

Right now there are a few ways to work around this:

* Using optuna with sagemaker
* Enumerate all possible hyperparameters and handle appropriately in the training entry point (i.e., ignore the ones not needed)

It would be very helpful if this feature is supported by default. Thanks.

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Non sono indicati file, test o punti di ingresso. Inizia esaminando il flusso esistente di ottimizzazione degli iperparametri di AMT e la documentazione collegata di Optuna e Vertex AI sugli iperparametri condizionali, quindi definisci come rappresentare e convalidare lo spazio di ricerca condizionale dell’esempio CNN.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
aws, python
Ambito
cloud, machine-learning
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.