Azure / Azure/MachineLearningNotebooks

Permission denied (read-only file system)

オープン
#1,677 コメント 8 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Jupyter Notebook
スター
4.4k
フォーク
2.6k
PR マージ指標
30日以内にマージされた PR はありません

説明

### Situation
We are using AzureML pipelines to train neural networks.
The raw data used to train the model is saved on our Azure blob storage.
Just as the trained models (and the checkpoints while training) are saved here.
This has worked perfectly for the last few months, more than 50 pipelines were ran that way.

### Issue
Since a few days, we constantly get the same error when trying to train a model.
After the first epoch, where the model tries to save the current checkpoint, but permission is denied. ​
Permission seems to be denied because it's a read-only file system.
However, none of the access rights seem to imply that this file is any different.
All the other files (images, annotations) do not seem to raise any issue.

Even rerunning the exact same pipelines on the exact same data that worked perfectly last week, result in this error.

> tensorflow/core/framework/op_kernel.cc:1763] OP_REQUIRES failed at save_restore_v2_ops.cc:157 : Permission denied: /mnt/azureml/cr/j/0ddbaa5dfd4243c4bd18feabd6037209/cap/data-capability/wd/output_84f84eab_univision_ai/pc_ds_2021_v3/refinement-reg/v2/results/128_c1720fb5-81ed-45aa-a823-a1fa5ef1a8d1/export/saved_model/variables/variables_temp/part-00000-of-00001.data-00000-of-00001.tempstate5255274353572806690; Read-only file system
...
Epoch 00001: val_loss improved from inf to 0.10273, saving model to /mnt/azureml/cr/j/0ddbaa5dfd4243c4bd18feabd6037209/cap/data-capability/wd/output_84f84eab_univision_ai/pc_ds_2021_v3/refinement-reg/v2/results/128_c1720fb5-81ed-45aa-a823-a1fa5ef1a8d1/export/saved_model
Cleaning up all outstanding Run operations, waiting 300.0 seconds
2 items cleaning up...
Cleanup took 0.19626808166503906 seconds
...
tensorflow.python.framework.errors_impl.PermissionDeniedError: /mnt/azureml/cr/j/0ddbaa5dfd4243c4bd18feabd6037209/cap/data-capability/wd/output_84f84eab_univision_ai/pc_ds_2021_v3/refinement-reg/v2/results/128_c1720fb5-81ed-45aa-a823-a1fa5ef1a8d1/export/saved_model/variables/variables_temp/part-00000-of-00001.data-00000-of-00001.tempstate5255274353572806690; Read-only file system [Op:SaveV2]

What more can I try or check?
There were no package version changes, it all stayed the same.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

まず、AzureML パイプラインの出力マウントとチェックポイントパスを、以前正常に動作した実行と比較します。最初のエポック後に TensorFlow チェックポイントを保存する処理を再現し、Azure Blob をバックエンドとする出力場所が読み取り専用でマウントされているかを確認します。PermissionDeniedError が発生せずにモデルのチェックポイントを正常に保存できれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
azure, python, tensorflow
領域
cloud, machine-learning
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
20/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。