futureverse / futureverse/future.batchtools

batchtools_slurm futures block (Was: stdout/stderr to log file only when using slurm?)

オープン
#68 コメント 18 件 リアクション 0 件 担当者 0 名 GitHub で見る
question
主要言語
R
スター
87
フォーク
10
PR マージ指標
30日以内にマージされた PR はありません

説明

I have a loop like this:
```r
for (i in 14:11) {
f <- future({
warning("Sleeping ", i, " seconds")
Sys.sleep(i)
saveRDS(i^2, paste0("tmp-data/res", i))
})
}
```
and I would to output the warning in the log files only.
I've seen the new option `split` in a blog post to do both (but I didn't find it in the documentation).
The problem is that capturing this output and returning it to the main session usually blocks my session for a long time (sometimes minutes), and I would like to avoid this.

Basically, is there any way to use future/future.batchtools just to submit jobs on a slurm cluster without returning anything to the session sending them?

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず、Slurm クラスター上で future.batchtools を使って、示されている future() ループを再現し、出力処理のために言及されている split オプションを調査します。キャプチャされた出力を送信元のセッションが待機することなくジョブを送信でき、警告が Slurm のログファイルにのみ書き込まれれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
r
領域
hpc
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。