Azure / Azure/MachineLearningNotebooks
How to resume training on low priority VMs?
- Lingua principale
- Jupyter Notebook
- Stelle
- 4.4k
- Fork
- 2.6k
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
I am running an Azure ML pipeline for Machine Learning training on a low priority compute cluster. So, occasionally, the VM will be preempted and restarted at a later time. In this case, I want to resume training from where the VM was stopped by loading the last model I saved in the `outputs` directory.
This use case is also mentioned in the [docs](https://docs.microsoft.com/en-us/azure/machine-learning/how-to-manage-optimize-cost#low-pri-vm):
> In general, we recommend using Low-Priority VMs for Batch workloads. You should also use them where interruptions are recoverable either through resubmits (for Batch Inferencing) or through restarts (**for deep learning training with checkpointing**).
However, it seems that while the saved models stored in the `outputs` directory are still shown in the Azure ML web interface after the VM restarts, my training script can not find them in that directory. Are these files not downloaded before the script is restarted? Which directory can I use instead to store these files?
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia dalla documentazione collegata sulla VM a bassa priorità e dal comportamento della pipeline di Azure Machine Learning relativo alla directory outputs. Verifica quali file vengono ripristinati dopo una preemption della VM e quale posizione di checkpoint è supportata per riprendere l'addestramento. Il lavoro è completato quando la documentazione identifica chiaramente la directory utilizzabile e spiega come caricare il modello salvato dopo il riavvio.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- azure, jupyter-notebook
- Ambito
- cloud, machine-learning
- Tipo di issue
- Documentazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 32/100