GCS support
- Ngôn ngữ chính
- C++
- Star
- 142
- Fork
- 26
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
While trying to load a TFDS dataset from GCS, I encountered this error:
```
/usr/local/lib/python3.10/dist-packages/array_record/python/array_record_data_source.py in _create_reader
176 def _create_reader(filename: epath.PathLike):
177 """Returns an ArrayRecordReader for the given filename."""
--> 178 return array_record_module.ArrayRecordReader(
179 filename,
180 options="readahead_buffer_size:0",
RuntimeError: open() failed: No such file or directory; opening gs://ref_coco/ref_coco/refcoco_unc/1.1.0/ref_coco-train.array_record-00000-of-00032
```
See the minimum reproducible example here:
https://colab.research.google.com/drive/1iezVDZBJrWtP3fVTpAMNGb6qfENZNKuD?usp=sharing
Hướng dẫn đóng góp
Hướng nghiên cứu
Start with the linked Colab reproduction and the failure in array_record/python/array_record_data_source.py, especially _create_reader and the gs:// path shown in the traceback. Trace how the reader opens that path; done means the reproduced TFDS dataset can be loaded from GCS without the missing-file error.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- google-cloud, python
- Lĩnh vực
- cloud
- Loại issue
- Tính năng
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 30/100