Azure / Azure/MachineLearningNotebooks

Use `OutputFileDatasetConfig` instead of `PipelineData` for Hyperdrive's `metrics_output`

オープン
#1,616 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Jupyter Notebook
スター
4.4k
フォーク
2.6k
PR マージ指標
30日以内にマージされた PR はありません

説明

`HyperDriveStep` can store the `metrics_output` into a datastore. However, this datastore location can only be specified with [`PipelineData`](https://docs.microsoft.com/en-us/python/api/azureml-pipeline-core/azureml.pipeline.core.pipelinedata?view=azure-ml-py), which is not the recommended way of moving data across pipeline steps (see [here](https://docs.microsoft.com/en-us/azure/machine-learning/how-to-move-data-in-out-of-pipelines)).

I would love if these ways of transferring data across steps were consistent. In the meantime, how can I specify the exact location where I want the JSON file from Hyperdrive to be stored? I would like to store it within some subfolders but I don't understand how to do that. Moreover, the file created and saved by the HD step does not have an extension (it has only the name defined in the `PipelineData`) and it is stored in a generic folder `azureml` within the container:

```python
hd_data = PipelineData(
"hd_metrics",
datastore=ds,
output_mode='upload'
)
```
will save the file `hd_metrics` (no extension) in `{datastore}/azureml/{run-id}/hd_metrics`. I'd like to have more control on where and how this file is stored.

---
#### Document Details

⚠ *Do not edit this section. It is required for docs.microsoft.com ➟ GitHub issue linking.*

* ID: 74c38a69-084f-2185-60b2-b5bdedd45c65
* Version Independent ID: d9d1234e-c713-ba08-fb19-b9874a356a5a
* Content: [azureml.pipeline.steps.HyperDriveStep class - Azure Machine Learning Python](https://docs.microsoft.com/en-us/python/api/azureml-pipeline-steps/azureml.pipeline.steps.hyperdrivestep?view=azure-ml-py)
* Content Source: [AzureML-Docset/stable/docs-ref-autogen/azureml-pipeline-steps/azureml.pipeline.steps.HyperDriveStep.yml](https://github.com/MicrosoftDocs/MachineLearning-Python-pr/blob/live/AzureML-Docset/stable/docs-ref-autogen/azureml-pipeline-steps/azureml.pipeline.steps.HyperDriveStep.yml)
* Service: **machine-learning**
* Sub-service: **core**
* GitHub Login: @DebFro
* Microsoft Alias: **debfro**

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

AzureML-Docset/stable/docs-ref-autogen/azureml.pipeline.steps/azureml.pipeline.steps.hyperdrivestep.yml とリンクされている HyperDriveStep のドキュメントから始め、OutputFileDatasetConfig と PipelineData のガイダンスを比較します。サポートされている metrics_output 構成と、想定される datastore のパスおよびファイル名の動作を明らかにします。要求された場所を一貫して指定でき、その方法が文書化されていれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
machine-learning, python
領域
machine-learning
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。