aws / aws/sagemaker-python-sdk

Support Conditional Hyperparameter in AMT

Abierto
#4,058 0 comentarios 0 reacciones 0 asignados Ver en GitHub
component: training type: feature request
Lenguaje dominante
Python
Estrellas
2.3k
Forks
1.3k
Merge medio
1 d 22 h
PR fusionados (30 d)
35

Descripción

**Describe the feature you'd like**

Hyperparameter tuning frameworks like [optuna](https://optuna.org/) and google's [vertex AI](https://cloud.google.com/vertex-ai/docs/training/hyperparameter-tuning-overview#conditional_hyperparameters) all support some form of conditional hyperparameter. Could you consider supporting this feature in some capacity?

**How would this feature be used? Please describe.**

For instance, in training a cnn, we can define hyperparameters conditional on their parent hyperparameter matching some condition:

```
search_space = {}
if optimizer == 'adam':
search_space['adam_beta_1'] = range(...)
search_space['adam_beta_2'] = range(...)
elif optimizer == 'sgd':
...
```

**Describe alternatives you've considered**

Right now there are a few ways to work around this:

* Using optuna with sagemaker
* Enumerate all possible hyperparameters and handle appropriately in the training entry point (i.e., ignore the ones not needed)

It would be very helpful if this feature is supported by default. Thanks.

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

No se nombran archivos, pruebas ni puntos de entrada. Empieza revisando el flujo existente de ajuste de hiperparámetros de AMT y la documentación vinculada de Optuna y Vertex AI sobre hiperparámetros condicionales; después, define cómo se debe representar y validar el espacio de búsqueda condicional del ejemplo de CNN.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
aws, python
Área
cloud, machine-learning
Tipo de issue
Nueva funcionalidad
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
25/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.