Azure / Azure/MachineLearningNotebooks

Use `OutputFileDatasetConfig` instead of `PipelineData` for Hyperdrive's `metrics_output`

Aberta
#1,616 0 comentários 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
Jupyter Notebook
Estrelas
4.4k
Forks
2.6k
Métricas de merge de PRs
Nenhum PR com merge em 30d

Descrição

`HyperDriveStep` can store the `metrics_output` into a datastore. However, this datastore location can only be specified with [`PipelineData`](https://docs.microsoft.com/en-us/python/api/azureml-pipeline-core/azureml.pipeline.core.pipelinedata?view=azure-ml-py), which is not the recommended way of moving data across pipeline steps (see [here](https://docs.microsoft.com/en-us/azure/machine-learning/how-to-move-data-in-out-of-pipelines)).

I would love if these ways of transferring data across steps were consistent. In the meantime, how can I specify the exact location where I want the JSON file from Hyperdrive to be stored? I would like to store it within some subfolders but I don't understand how to do that. Moreover, the file created and saved by the HD step does not have an extension (it has only the name defined in the `PipelineData`) and it is stored in a generic folder `azureml` within the container:

```python
hd_data = PipelineData(
"hd_metrics",
datastore=ds,
output_mode='upload'
)
```
will save the file `hd_metrics` (no extension) in `{datastore}/azureml/{run-id}/hd_metrics`. I'd like to have more control on where and how this file is stored.

---
#### Document Details

⚠ *Do not edit this section. It is required for docs.microsoft.com ➟ GitHub issue linking.*

* ID: 74c38a69-084f-2185-60b2-b5bdedd45c65
* Version Independent ID: d9d1234e-c713-ba08-fb19-b9874a356a5a
* Content: [azureml.pipeline.steps.HyperDriveStep class - Azure Machine Learning Python](https://docs.microsoft.com/en-us/python/api/azureml-pipeline-steps/azureml.pipeline.steps.hyperdrivestep?view=azure-ml-py)
* Content Source: [AzureML-Docset/stable/docs-ref-autogen/azureml-pipeline-steps/azureml.pipeline.steps.HyperDriveStep.yml](https://github.com/MicrosoftDocs/MachineLearning-Python-pr/blob/live/AzureML-Docset/stable/docs-ref-autogen/azureml-pipeline-steps/azureml.pipeline.steps.HyperDriveStep.yml)
* Service: **machine-learning**
* Sub-service: **core**
* GitHub Login: @DebFro
* Microsoft Alias: **debfro**

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Direção de pesquisa

Comece com AzureML-Docset/stable/docs-ref-autogen/azureml.pipeline.steps/azureml.pipeline.steps.hyperdrivestep.yml e a documentação vinculada de HyperDriveStep; em seguida, compare as orientações sobre OutputFileDatasetConfig e PipelineData. Determine a configuração de metrics_output compatível e o comportamento esperado do caminho do datastore e do nome do arquivo; considera-se concluído quando o local solicitado puder ser especificado de forma consistente e estiver documentado.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
machine-learning, python
Domínio
machine-learning
Tipo de issue
Funcionalidade
Dificuldade
4/5
Tempo estimado
3-5 dias
Status de atividade
Estagnada
Clareza
Razoavelmente clara
Facilidade para iniciantes
25/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.