aws / aws/sagemaker-python-sdk
Support Conditional Hyperparameter in AMT
- 主要言語
- Python
- スター
- 2.3k
- フォーク
- 1.3k
- 平均マージ
- 1日 22時間
- マージ済み PR(30日)
- 35
説明
**Describe the feature you'd like**
Hyperparameter tuning frameworks like [optuna](https://optuna.org/) and google's [vertex AI](https://cloud.google.com/vertex-ai/docs/training/hyperparameter-tuning-overview#conditional_hyperparameters) all support some form of conditional hyperparameter. Could you consider supporting this feature in some capacity?
**How would this feature be used? Please describe.**
For instance, in training a cnn, we can define hyperparameters conditional on their parent hyperparameter matching some condition:
```
search_space = {}
if optimizer == 'adam':
search_space['adam_beta_1'] = range(...)
search_space['adam_beta_2'] = range(...)
elif optimizer == 'sgd':
...
```
**Describe alternatives you've considered**
Right now there are a few ways to work around this:
* Using optuna with sagemaker
* Enumerate all possible hyperparameters and handle appropriately in the training entry point (i.e., ignore the ones not needed)
It would be very helpful if this feature is supported by default. Thanks.
コントリビューションガイド
調査の方向性
ファイル、テスト、エントリポイントは指定されていません。まず、既存の AMT のハイパーパラメータ調整フローと、Optuna および Vertex AI による条件付きハイパーパラメータの関連ドキュメントを確認し、次に CNN の例の条件付き探索空間をどのように表現して検証するかを定義してください。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- aws, python
- 領域
- cloud, machine-learning
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100