Enhancement: allow iterating signals in chunks of dataframes
还没有人认领这个 Issue。
评估
调研方向
从 pull request 380 中引入的 to_dataframe() 实现开始，检查它当前如何加载波形信号。定义一种延迟、分块的 dataframe 处理方案，避免将完整信号加载到内存中；当能够以适合内存大小的部分处理 MIMIC-III 等来源的大型记录时，即视为完成。
由索引模型根据 Issue 内容生成。
描述
I'm using the new to_dataframe() function that was implemented in https://github.com/MIT-LCP/wfdb-python/pull/380
One issue that I'm seeing is that when loading some of the waveform signals from https://physionet.org/content/mimic3wdb-matched/1.0/ using to_dataframe() it eats up a lot of memory. Specifically, on the machine I'm running on which has 96gb of memory, reading the record and calling to_dataframe runs out of memory.
I would like to lazy load the signal data into a chunked dataframe which would allow me to process the waveform signals in parts that could fit into memory, rather than loading it all into memory.
- 主要语言
- Jupyter Notebook
- 星标
- 853
- 派生
- 322
- PR 合并指标
- 30 天内没有已合并 PR
贡献指南
这个仓库没有索引到贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
MIT-LCP/wfdb-python 的其他 Issue
-
难度 4/5 3-5 天 新手友好度 45/100
MIT-LCP/wfdb-python#568 ·
-
难度 3/5 1-2 天 新手友好度 48/100
MIT-LCP/wfdb-python#557 ·
-
难度 2/5 1-3 小时 新手友好度 58/100
MIT-LCP/wfdb-python#554 ·
-
难度 4/5 3-5 天 新手友好度 35/100
MIT-LCP/wfdb-python#545 ·
-
难度 5/5 一周以上 新手友好度 30/100
MIT-LCP/wfdb-python#540 ·
查看 MIT-LCP/wfdb-python 的全部 Issue
相似的 Issue
-
bug
难度 2/5 1-3 小时 新手友好度 88/100
-
难度 2/5 1-3 小时 新手友好度 76/100
-
Schema-level dtype cannot be serialized: to_yaml raises RepresenterError, to_json raises TypeError 未关闭
难度 2/5 1-3 小时 新手友好度 76/100
unionai-oss/pandera#2511 ·
-
难度 2/5 1-3 小时 新手友好度 74/100
unitaryfoundation/qldpc-challenge#1651 ·
-
难度 1/5 1 小时以内 新手友好度 90/100
statsmodels/statsmodels#10271 ·