Azure / Azure/MachineLearningNotebooks

MpiStep throws Estimator deprecation warnings

Aperta
#1,558 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
ADO Core UI doc-enhancement
Lingua principale
Jupyter Notebook
Stelle
4.4k
Fork
2.6k
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Python version: 3.8.1 as running on an Azure ML notebook VM / SDK version `azureml-core-1.32.0`

There are [several issues here](https://github.com/Azure/MachineLearningNotebooks/search?q=mpistep&type=issues) relating to lack of notebook examples for use of `MpiStep` to do a distributed training run in a pipeline, as the official documentation claims there should be. So I'm creating an example for internal use. When I create an MpiStep, I see this set of deprecation warnings:

```
'Estimator' is deprecated. Please use 'ScriptRunConfig' from 'azureml.core.script_run_config' with your own defined environment or an Azure ML curated environment.
WARNING:root:'distributed_backend' parameter will be deprecated. Please use 'distributed_training' instead.
WARNING:azureml.core.environment:'enabled' is deprecated. Please use the azureml.core.runconfig.DockerConfiguration object with the 'use_docker' param instead.
```

The step is set up like this. I'm explicitly trying to replace a `ScriptRunConfig` with a pipeline step, and don't see another way to run a `PythonScriptStep` in parallel than by using an MpiStep.

```
script_step = MpiStep(
name='distributed-train-step',
script_name=script,
compute_target=compute_target,
source_directory=project_folder,
node_count=2,
process_count_per_node=1,
arguments=['--train_data', train_data.as_mount(),
'--test_data', test_data.as_mount(),
'--epochs', 100,
'--lr', 0.005],
custom_docker_image=docker_base_image,
)
```

I understand if this isn't the place to log this kind of generic issue relating to the Azure ML SDK but if so, then where is?

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia riproducendo la configurazione di MpiStep mostrata nell'issue in un notebook Azure ML usando Python 3.8.1 e azureml-core 1.32.0, quindi traccia quale componente emette ciascun avviso di deprecazione. Il lavoro sarà completato quando sarà stabilito se gli avvisi richiedono una modifica dell'SDK o un aggiornamento del notebook/della documentazione, ma l'issue non indica alcun file di destinazione né alcun test.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
azure, jupyter-notebook, python
Ambito
documentation, machine-learning
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.