futureverse / futureverse/future.batchtools
batchtools_slurm futures block (Was: stdout/stderr to log file only when using slurm?)
- 主要言語
- R
- スター
- 87
- フォーク
- 10
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
I have a loop like this:
```r
for (i in 14:11) {
f <- future({
warning("Sleeping ", i, " seconds")
Sys.sleep(i)
saveRDS(i^2, paste0("tmp-data/res", i))
})
}
```
and I would to output the warning in the log files only.
I've seen the new option `split` in a blog post to do both (but I didn't find it in the documentation).
The problem is that capturing this output and returning it to the main session usually blocks my session for a long time (sometimes minutes), and I would like to avoid this.
Basically, is there any way to use future/future.batchtools just to submit jobs on a slurm cluster without returning anything to the session sending them?
コントリビューションガイド
調査の方向性
まず、Slurm クラスター上で future.batchtools を使って、示されている future() ループを再現し、出力処理のために言及されている split オプションを調査します。キャプチャされた出力を送信元のセッションが待機することなくジョブを送信でき、警告が Slurm のログファイルにのみ書き込まれれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- r
- 領域
- hpc
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 35/100