google / google/array_record

GCS support

Đang mở
#120 3 bình luận 1 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
C++
Star
142
Fork
26
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

While trying to load a TFDS dataset from GCS, I encountered this error:
```
/usr/local/lib/python3.10/dist-packages/array_record/python/array_record_data_source.py in _create_reader
176 def _create_reader(filename: epath.PathLike):
177 """Returns an ArrayRecordReader for the given filename."""
--> 178 return array_record_module.ArrayRecordReader(
179 filename,
180 options="readahead_buffer_size:0",

RuntimeError: open() failed: No such file or directory; opening gs://ref_coco/ref_coco/refcoco_unc/1.1.0/ref_coco-train.array_record-00000-of-00032
```
See the minimum reproducible example here:

https://colab.research.google.com/drive/1iezVDZBJrWtP3fVTpAMNGb6qfENZNKuD?usp=sharing

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Start with the linked Colab reproduction and the failure in array_record/python/array_record_data_source.py, especially _create_reader and the gs:// path shown in the traceback. Trace how the reader opens that path; done means the reproduced TFDS dataset can be loaded from GCS without the missing-file error.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
google-cloud, python
Lĩnh vực
cloud
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
30/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.