aws / aws/sagemaker-python-sdk

Support Conditional Hyperparameter in AMT

Offen
#4,058 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
component: training type: feature request
Vorherrschende Sprache
Python
Sterne
2.3k
Forks
1.3k
Ø Merge
1 T. 22 Std.
Gemergte PRs (30 T.)
35

Beschreibung

**Describe the feature you'd like**

Hyperparameter tuning frameworks like [optuna](https://optuna.org/) and google's [vertex AI](https://cloud.google.com/vertex-ai/docs/training/hyperparameter-tuning-overview#conditional_hyperparameters) all support some form of conditional hyperparameter. Could you consider supporting this feature in some capacity?

**How would this feature be used? Please describe.**

For instance, in training a cnn, we can define hyperparameters conditional on their parent hyperparameter matching some condition:

```
search_space = {}
if optimizer == 'adam':
search_space['adam_beta_1'] = range(...)
search_space['adam_beta_2'] = range(...)
elif optimizer == 'sgd':
...
```

**Describe alternatives you've considered**

Right now there are a few ways to work around this:

* Using optuna with sagemaker
* Enumerate all possible hyperparameters and handle appropriately in the training entry point (i.e., ignore the ones not needed)

It would be very helpful if this feature is supported by default. Thanks.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Es werden keine Dateien, Tests oder Einstiegspunkte genannt. Beginne damit, den bestehenden AMT-Ablauf zur Hyperparameter-Abstimmung sowie die verlinkte Dokumentation zu bedingten Hyperparametern von Optuna und Vertex AI zu prüfen, und lege anschließend fest, wie der bedingte Suchraum des CNN-Beispiels dargestellt und validiert werden sollte.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
aws, python
Bereich
cloud, machine-learning
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.