Azure / Azure/MachineLearningNotebooks

Exception is thrown after the job is complete from context_manager_injector.py

Aperta
#1,253 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub
ADO MLOps product-issue
Lingua principale
Jupyter Notebook
Stelle
4.4k
Fork
2.6k
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

SDK version 1.18.0

Submitting a job with TensorFlow estimator and custom docker image. The job completes successfully and the main scripts exits.
But still final status is failed with with this strange error coming from azureml code.

Starting the daemon thread to refresh tokens in background for process with pid = 95

[2020-12-01T23:51:00.945744] The experiment failed. Finalizing run...
12/01/2020 23:51:00 - INFO - __main__ - Exiting context: UserExceptions
12/01/2020 23:51:01 - INFO - __main__ - Exiting context: TrackUserError
12/01/2020 23:51:01 - INFO - __main__ - Exiting context: RunHistory
Cleaning up all outstanding Run operations, waiting 900.0 seconds
2 items cleaning up...
Cleanup took 0.4626293182373047 seconds
12/01/2020 23:51:02 - INFO - __main__ - Exiting context: ProjectPythonPath
Traceback (most recent call last):
File "/mnt/batch/tasks/shared/LS_root/jobs/.../azureml-setup/context_manager_injector.py", line 339, in
execute_with_context(cm_objects, options.invocation)
File "/mnt/batch/tasks/shared/LS_root/jobs/.../azureml-setup/context_manager_injector.py", line 209, in execute_with_context
importlib.reload(imported_module)
File "/opt/miniconda/envs/docker_env/lib/python3.7/importlib/__init__.py", line 148, in reload
raise ImportError(msg.format(name), name=name)
ImportError: module __main__ not in sys.modules

[2020-12-01T23:51:02.097301] Finished context manager injector with Exception.
2020/12/01 23:51:04 Failed to run the wrapper cmd with err: exit status 1
2020/12/01 23:51:04 Attempt 1 of http call to http://10.0.0.4:16384/sendlogstoartifacts/status
2020/12/01 23:51:04 mpirun version string: {
mpirun (Open MPI) 3.1.2

Report bugs to http://www.open-mpi.org/community/help/
}
2020/12/01 23:51:04 Process Exiting with Code: 1

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia leggendo il traceback in context_manager_injector.py nel suo contesto, in particolare execute_with_context alle righe 209 e 339, e riproduci l'esecuzione dell'estimator TensorFlow con un'immagine Docker personalizzata. Verifica perché il job completato viene contrassegnato come non riuscito dopo l'uscita dello script principale. L'attività è completata quando il job rimane riuscito e il context manager termina senza ImportError.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
docker, python, tensorflow
Ambito
cloud, machine-learning
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
30/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.