apache / apache/datafusion-python
Configure memory usage
未关闭
bug
- 主要语言
- Python
- 星标
- 604
- 派生
- 174
- 平均合并
- 2 天 22 小时
- 30 天内合并 PR
- 5
描述
I saw a pull-request opened a while back that introduced the possibility of analyzing bigger than memory datasets by saving some of the state on disk, I was wondering if there is a way for the user to configure the maximum amount of memory the process can use?
Like `duckdb` has `"SET max_memory='1GB';"`
贡献指南
这个仓库没有索引到贡献指南
调研方向
首先定位之前为大于内存的数据集添加磁盘后端状态的 pull request,然后追踪用户如何在 Python 绑定中配置执行设置。定义用户可配置的内存限制应如何运行,包括它与磁盘后端处理的交互,并添加覆盖范围以证明已配置的限制得到遵守。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- python
- 领域
- data-engineering
- Issue 类型
- 功能
- 难度
- 5/5
- 预计耗时
- 一周以上
- 活跃度
- 停滞
- 描述清晰度
- 需要澄清
- 新手友好度
- 30/100