apache / apache/datafusion-python

Configure memory usage

未关闭
#514 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
bug
主要语言
Python
星标
604
派生
174
平均合并
2 天 22 小时
30 天内合并 PR
5

描述

I saw a pull-request opened a while back that introduced the possibility of analyzing bigger than memory datasets by saving some of the state on disk, I was wondering if there is a way for the user to configure the maximum amount of memory the process can use?

Like `duckdb` has `"SET max_memory='1GB';"`

贡献指南

这个仓库没有索引到贡献指南

调研方向

首先定位之前为大于内存的数据集添加磁盘后端状态的 pull request,然后追踪用户如何在 Python 绑定中配置执行设置。定义用户可配置的内存限制应如何运行,包括它与磁盘后端处理的交互,并添加覆盖范围以证明已配置的限制得到遵守。

由索引模型根据 Issue 内容生成。

评估

技术栈
python
领域
data-engineering
Issue 类型
功能
难度
5/5
预计耗时
一周以上
活跃度
停滞
描述清晰度
需要澄清
新手友好度
30/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。