Azure / Azure/MachineLearningNotebooks

How to resume training on low priority VMs?

Aperta
#1,575 7 commenti 4 reazioni 0 assegnatari Vedi su GitHub
ADO product-question Training
Lingua principale
Jupyter Notebook
Stelle
4.4k
Fork
2.6k
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

I am running an Azure ML pipeline for Machine Learning training on a low priority compute cluster. So, occasionally, the VM will be preempted and restarted at a later time. In this case, I want to resume training from where the VM was stopped by loading the last model I saved in the `outputs` directory.

This use case is also mentioned in the [docs](https://docs.microsoft.com/en-us/azure/machine-learning/how-to-manage-optimize-cost#low-pri-vm):
> In general, we recommend using Low-Priority VMs for Batch workloads. You should also use them where interruptions are recoverable either through resubmits (for Batch Inferencing) or through restarts (**for deep learning training with checkpointing**).

However, it seems that while the saved models stored in the `outputs` directory are still shown in the Azure ML web interface after the VM restarts, my training script can not find them in that directory. Are these files not downloaded before the script is restarted? Which directory can I use instead to store these files?

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia dalla documentazione collegata sulla VM a bassa priorità e dal comportamento della pipeline di Azure Machine Learning relativo alla directory outputs. Verifica quali file vengono ripristinati dopo una preemption della VM e quale posizione di checkpoint è supportata per riprendere l'addestramento. Il lavoro è completato quando la documentazione identifica chiaramente la directory utilizzabile e spiega come caricare il modello salvato dopo il riavvio.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
azure, jupyter-notebook
Ambito
cloud, machine-learning
Tipo di issue
Documentazione
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
32/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.