Azure / Azure/MachineLearningNotebooks

`azureml-fsspec` file upload uninformative error

Đang mở
#1,902 1 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Jupyter Notebook
Star
4.4k
Fork
2.6k
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

Hey, I am working on some simple EDA in AzureML, and I have successfully set up data asset to facilitate access to blob storage. Following [this documentation](https://learn.microsoft.com/en-us/azure/machine-learning/how-to-access-data-interactive?view=azureml-api-2&tabs=adls#access-data-from-a-datastore-uri-like-a-filesystem), I can easily read data using a number of methods, including creating an `AzureMachineLearningFileSystem` and using it to `.open()` some remote file. However, when I try uploading a file back to blob storage using an instance of `AzureMachineLearningFileSystem` and its `.upload()` method, it just fails with an error message mentioning the remote path I pass to it.

So, given a file system `fs`, local file `local.file.txt`, which I want to upload as `remote.file.txt`, I run the following (based on the sample [here](https://learn.microsoft.com/en-us/azure/machine-learning/how-to-access-data-interactive?view=azureml-api-2&tabs=adls#upload-files-via-azuremachinelearningfilesystem)):
```python
fs.upload(lpath='local.file.txt', rpath='remote.file.txt', recursive=False, **{'overwrite': 'MERGE_WITH_OVERWRITE'})
```
But it results in an error with a lengthy stack trace, ending with:
```
File /anaconda/envs/azureml_py310_sdkv2/lib/python3.10/site-packages/azureml/fsspec/spec.py:146, in AzureMachineLearningFileSystem._info(self, path)
144 if len(self._stream_infos) == 1:
145 return list(self._stream_infos.values())[0]['info']
--> 146 return self._stream_infos[path]['info']

KeyError: 'remote.file.txt'
```
which is not really helpful. Any advice on how to debug this issue?

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Tái hiện ví dụ AzureMachineLearningFileSystem.upload được ghi trong tài liệu với các đường dẫn cục bộ và từ xa đã cho. Bắt đầu tại azureml/fsspec/spec.py:146 và theo dõi các điểm vào upload và _info để xác định lý do đường dẫn từ xa không có trong _stream_infos. Hoàn thành khi lỗi được giải thích bằng chẩn đoán có thể thực hiện hoặc tạo ra một lỗi giàu thông tin thay vì KeyError thô.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
azure, python
Lĩnh vực
cloud, machine-learning
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.