Memory Exception When Merging Large Volumes of Waveform Data Files Using wrdb.wrsamp()
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 25/100
- Issue 类型
- 缺陷
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- python
调研方向
首先，在多个 .dat 文件上使用 wrdb.wrsamp() 重现报告的内存异常，并检查当前的读取、合并和写入流程如何处理数组。完成的标准是确定是否支持增量写入；如果不支持，则确定所需的实现和回归测试；该 issue 未指定任何文件或测试。
由索引模型根据 Issue 内容生成。
描述
I'm trying to merge multiple waveform data (.dat) files into a single file. I'm using the wrdb.wrsamp() function for this task. The total number of files is approximately 10,000 and each one has 3 channels. I've tried several times, but every attempt results in a memory exception, requiring more than 40GB of memory. I'm unsure if I am doing something incorrect.
I've been unable to find a method to write the files incrementally. My current approach is to read each sample, combine all signals into an array, and write them. While this works fine with a small number of files, I'm having difficulties when it comes to larger datasets. Each file contains over 6 minutes of data.
Any assistance insights or suggestions on this matter would be highly appreciated.
- 主要语言
- Jupyter Notebook
- 星标
- 853
- 派生
- 322
- PR 合并指标
- 30 天内没有已合并 PR
贡献指南
这个仓库没有索引到贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
MIT-LCP/wfdb-python 的其他 Issue
-
难度 4/5 3-5 天 新手友好度 45/100
MIT-LCP/wfdb-python#568 ·
-
难度 3/5 1-2 天 新手友好度 48/100
MIT-LCP/wfdb-python#557 ·
-
难度 2/5 1-3 小时 新手友好度 58/100
MIT-LCP/wfdb-python#554 ·
-
难度 4/5 3-5 天 新手友好度 35/100
MIT-LCP/wfdb-python#545 ·
-
难度 5/5 一周以上 新手友好度 30/100
MIT-LCP/wfdb-python#540 ·
查看 MIT-LCP/wfdb-python 的全部 Issue
相似的 Issue
-
bug needs triage p2
难度 2/5 1-3 小时 新手友好度 78/100
GoogleCloudPlatform/DataflowTemplates#4273 · 1 条评论 ·
-
correction metadata
难度 1/5 1 小时以内 新手友好度 72/100
acl-org/acl-anthology#10025 · 1 条评论 ·
-
bug
难度 2/5 1-3 小时 新手友好度 88/100
-
难度 2/5 1-3 小时 新手友好度 76/100
-
Schema-level dtype cannot be serialized: to_yaml raises RepresenterError, to_json raises TypeError 未关闭
难度 2/5 1-3 小时 新手友好度 76/100
unionai-oss/pandera#2511 ·