apache / apache/datafusion-python
Configure memory usage
未關閉
bug
- 主要語言
- Python
- 星號
- 604
- 分支
- 174
- 平均合併
- 1 天 7 小時
- 30 天內合併 PR
- 4
描述
I saw a pull-request opened a while back that introduced the possibility of analyzing bigger than memory datasets by saving some of the state on disk, I was wondering if there is a way for the user to configure the maximum amount of memory the process can use?
Like `duckdb` has `"SET max_memory='1GB';"`
貢獻指南
這個儲存庫沒有索引到貢獻指南
研究方向
先找出先前為大於記憶體的資料集新增磁碟後端狀態的 pull request,接著追蹤使用者如何在 Python bindings 中設定執行設定。定義使用者可設定的記憶體限制應如何運作,包括它與磁碟後端處理的互動,並加入 coverage 以顯示已設定的限制確實受到遵守。
由索引模型根據 Issue 內容生成。
評估
- 技術堆疊
- python
- 領域
- data-engineering
- Issue 類型
- 功能
- 難度
- 5/5
- 預估耗時
- 一週以上
- 活躍度
- 停滯
- 描述清晰度
- 需要釐清
- 新手友好度
- 30/100