facebook / facebook/prophet

Parallel cross validation & memory overflow

オープン
#2,018 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
py question
主要言語
Python
スター
20.4k
フォーク
4.6k
平均マージ
19時間 52分
マージ済み PR(30日)
1

説明

Hi,

I'm trying to tune six forecasts using a parameter grid (with a total of ~100 combinations) in a straightforward for loop. I'm using the parallel processing option while cross validating, but for some reason the loop takes up more and more memory as it progresses through the parameter grid, eventually leading to memory overflow.
This seems odd to me since all variables are being replaced after each sequantial run. I suspect this has something to do with how parallel processes are (not) being terminated and thus eating up more and more of the server's RAM? It doesn't matter whether I use the 'processes' or 'threads' option.

I have no idea how this parallelization works on the backend; is there some kind of progress I need to terminate after each run?

Thanks!

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。