Azure / Azure/MachineLearningNotebooks

Permission denied (read-only file system)

Đang mở
#1,677 8 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Jupyter Notebook
Star
4.4k
Fork
2.6k
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

### Situation
We are using AzureML pipelines to train neural networks.
The raw data used to train the model is saved on our Azure blob storage.
Just as the trained models (and the checkpoints while training) are saved here.
This has worked perfectly for the last few months, more than 50 pipelines were ran that way.

### Issue
Since a few days, we constantly get the same error when trying to train a model.
After the first epoch, where the model tries to save the current checkpoint, but permission is denied. ​
Permission seems to be denied because it's a read-only file system.
However, none of the access rights seem to imply that this file is any different.
All the other files (images, annotations) do not seem to raise any issue.

Even rerunning the exact same pipelines on the exact same data that worked perfectly last week, result in this error.

> tensorflow/core/framework/op_kernel.cc:1763] OP_REQUIRES failed at save_restore_v2_ops.cc:157 : Permission denied: /mnt/azureml/cr/j/0ddbaa5dfd4243c4bd18feabd6037209/cap/data-capability/wd/output_84f84eab_univision_ai/pc_ds_2021_v3/refinement-reg/v2/results/128_c1720fb5-81ed-45aa-a823-a1fa5ef1a8d1/export/saved_model/variables/variables_temp/part-00000-of-00001.data-00000-of-00001.tempstate5255274353572806690; Read-only file system
...
Epoch 00001: val_loss improved from inf to 0.10273, saving model to /mnt/azureml/cr/j/0ddbaa5dfd4243c4bd18feabd6037209/cap/data-capability/wd/output_84f84eab_univision_ai/pc_ds_2021_v3/refinement-reg/v2/results/128_c1720fb5-81ed-45aa-a823-a1fa5ef1a8d1/export/saved_model
Cleaning up all outstanding Run operations, waiting 300.0 seconds
2 items cleaning up...
Cleanup took 0.19626808166503906 seconds
...
tensorflow.python.framework.errors_impl.PermissionDeniedError: /mnt/azureml/cr/j/0ddbaa5dfd4243c4bd18feabd6037209/cap/data-capability/wd/output_84f84eab_univision_ai/pc_ds_2021_v3/refinement-reg/v2/results/128_c1720fb5-81ed-45aa-a823-a1fa5ef1a8d1/export/saved_model/variables/variables_temp/part-00000-of-00001.data-00000-of-00001.tempstate5255274353572806690; Read-only file system [Op:SaveV2]

What more can I try or check?
There were no package version changes, it all stayed the same.

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Bắt đầu bằng cách so sánh mount đầu ra và đường dẫn checkpoint của pipeline AzureML với các lần chạy trước đây đã hoạt động. Tái hiện việc lưu checkpoint của TensorFlow sau epoch đầu tiên và kiểm tra xem vị trí đầu ra được Azure Blob hỗ trợ có được mount ở chế độ chỉ đọc hay không; hoàn tất khi checkpoint của mô hình được lưu thành công mà không có PermissionDeniedError.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
azure, python, tensorflow
Lĩnh vực
cloud, machine-learning
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
20/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.