Azure / Azure/MachineLearningNotebooks
Permission denied (read-only file system)
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 4.4k
- Fork
- 2.6k
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
### Situation
We are using AzureML pipelines to train neural networks.
The raw data used to train the model is saved on our Azure blob storage.
Just as the trained models (and the checkpoints while training) are saved here.
This has worked perfectly for the last few months, more than 50 pipelines were ran that way.
### Issue
Since a few days, we constantly get the same error when trying to train a model.
After the first epoch, where the model tries to save the current checkpoint, but permission is denied.
Permission seems to be denied because it's a read-only file system.
However, none of the access rights seem to imply that this file is any different.
All the other files (images, annotations) do not seem to raise any issue.
Even rerunning the exact same pipelines on the exact same data that worked perfectly last week, result in this error.
> tensorflow/core/framework/op_kernel.cc:1763] OP_REQUIRES failed at save_restore_v2_ops.cc:157 : Permission denied: /mnt/azureml/cr/j/0ddbaa5dfd4243c4bd18feabd6037209/cap/data-capability/wd/output_84f84eab_univision_ai/pc_ds_2021_v3/refinement-reg/v2/results/128_c1720fb5-81ed-45aa-a823-a1fa5ef1a8d1/export/saved_model/variables/variables_temp/part-00000-of-00001.data-00000-of-00001.tempstate5255274353572806690; Read-only file system
...
Epoch 00001: val_loss improved from inf to 0.10273, saving model to /mnt/azureml/cr/j/0ddbaa5dfd4243c4bd18feabd6037209/cap/data-capability/wd/output_84f84eab_univision_ai/pc_ds_2021_v3/refinement-reg/v2/results/128_c1720fb5-81ed-45aa-a823-a1fa5ef1a8d1/export/saved_model
Cleaning up all outstanding Run operations, waiting 300.0 seconds
2 items cleaning up...
Cleanup took 0.19626808166503906 seconds
...
tensorflow.python.framework.errors_impl.PermissionDeniedError: /mnt/azureml/cr/j/0ddbaa5dfd4243c4bd18feabd6037209/cap/data-capability/wd/output_84f84eab_univision_ai/pc_ds_2021_v3/refinement-reg/v2/results/128_c1720fb5-81ed-45aa-a823-a1fa5ef1a8d1/export/saved_model/variables/variables_temp/part-00000-of-00001.data-00000-of-00001.tempstate5255274353572806690; Read-only file system [Op:SaveV2]
What more can I try or check?
There were no package version changes, it all stayed the same.
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng cách so sánh mount đầu ra và đường dẫn checkpoint của pipeline AzureML với các lần chạy trước đây đã hoạt động. Tái hiện việc lưu checkpoint của TensorFlow sau epoch đầu tiên và kiểm tra xem vị trí đầu ra được Azure Blob hỗ trợ có được mount ở chế độ chỉ đọc hay không; hoàn tất khi checkpoint của mô hình được lưu thành công mà không có PermissionDeniedError.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- azure, python, tensorflow
- Lĩnh vực
- cloud, machine-learning
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 20/100