apache / apache/datafusion-python

Configure memory usage

未關閉
#514 0 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視
bug
主要語言
Python
星號
604
分支
174
平均合併
1 天 7 小時
30 天內合併 PR
4

描述

I saw a pull-request opened a while back that introduced the possibility of analyzing bigger than memory datasets by saving some of the state on disk, I was wondering if there is a way for the user to configure the maximum amount of memory the process can use?

Like `duckdb` has `"SET max_memory='1GB';"`

貢獻指南

這個儲存庫沒有索引到貢獻指南

研究方向

先找出先前為大於記憶體的資料集新增磁碟後端狀態的 pull request,接著追蹤使用者如何在 Python bindings 中設定執行設定。定義使用者可設定的記憶體限制應如何運作,包括它與磁碟後端處理的互動,並加入 coverage 以顯示已設定的限制確實受到遵守。

由索引模型根據 Issue 內容生成。

評估

技術堆疊
python
領域
data-engineering
Issue 類型
功能
難度
5/5
預估耗時
一週以上
活躍度
停滯
描述清晰度
需要釐清
新手友好度
30/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。