GCS support
- 主要语言
- C++
- 星标
- 142
- 派生
- 26
- PR 合并指标
- 30 天内没有已合并 PR
描述
While trying to load a TFDS dataset from GCS, I encountered this error:
```
/usr/local/lib/python3.10/dist-packages/array_record/python/array_record_data_source.py in _create_reader
176 def _create_reader(filename: epath.PathLike):
177 """Returns an ArrayRecordReader for the given filename."""
--> 178 return array_record_module.ArrayRecordReader(
179 filename,
180 options="readahead_buffer_size:0",
RuntimeError: open() failed: No such file or directory; opening gs://ref_coco/ref_coco/refcoco_unc/1.1.0/ref_coco-train.array_record-00000-of-00032
```
See the minimum reproducible example here:
https://colab.research.google.com/drive/1iezVDZBJrWtP3fVTpAMNGb6qfENZNKuD?usp=sharing
贡献指南
调研方向
从链接的 Colab 复现以及 array_record/python/array_record_data_source.py 中的失败开始,重点关注 _create_reader 和 traceback 中显示的 gs:// 路径。跟踪 reader 如何打开该路径;当复现的 TFDS 数据集能够从 GCS 加载且不再出现缺少文件错误时,即表示完成。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- google-cloud, python
- 领域
- cloud
- Issue 类型
- 功能
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 活跃度
- 停滞
- 描述清晰度
- 需要澄清
- 新手友好度
- 30/100