google / google/array_record

GCS support

未关闭
#120 3 条评论 1 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
C++
星标
142
派生
26
PR 合并指标
30 天内没有已合并 PR

描述

While trying to load a TFDS dataset from GCS, I encountered this error:
```
/usr/local/lib/python3.10/dist-packages/array_record/python/array_record_data_source.py in _create_reader
176 def _create_reader(filename: epath.PathLike):
177 """Returns an ArrayRecordReader for the given filename."""
--> 178 return array_record_module.ArrayRecordReader(
179 filename,
180 options="readahead_buffer_size:0",

RuntimeError: open() failed: No such file or directory; opening gs://ref_coco/ref_coco/refcoco_unc/1.1.0/ref_coco-train.array_record-00000-of-00032
```
See the minimum reproducible example here:

https://colab.research.google.com/drive/1iezVDZBJrWtP3fVTpAMNGb6qfENZNKuD?usp=sharing

贡献指南

打开贡献指南

调研方向

从链接的 Colab 复现以及 array_record/python/array_record_data_source.py 中的失败开始,重点关注 _create_reader 和 traceback 中显示的 gs:// 路径。跟踪 reader 如何打开该路径;当复现的 TFDS 数据集能够从 GCS 加载且不再出现缺少文件错误时,即表示完成。

由索引模型根据 Issue 内容生成。

评估

技术栈
google-cloud, python
领域
cloud
Issue 类型
功能
难度
4/5
预计耗时
3-5 天
活跃度
停滞
描述清晰度
需要澄清
新手友好度
30/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。