futureverse / futureverse/future.batchtools
batchtools_slurm futures block (Was: stdout/stderr to log file only when using slurm?)
- Vorherrschende Sprache
- R
- Sterne
- 87
- Forks
- 10
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
I have a loop like this:
```r
for (i in 14:11) {
f <- future({
warning("Sleeping ", i, " seconds")
Sys.sleep(i)
saveRDS(i^2, paste0("tmp-data/res", i))
})
}
```
and I would to output the warning in the log files only.
I've seen the new option `split` in a blog post to do both (but I didn't find it in the documentation).
The problem is that capturing this output and returning it to the main session usually blocks my session for a long time (sometimes minutes), and I would like to avoid this.
Basically, is there any way to use future/future.batchtools just to submit jobs on a slurm cluster without returning anything to the session sending them?
Beitragsleitfaden
Rechercherichtung
Beginne damit, die gezeigte future()-Schleife mit future.batchtools auf einem Slurm-Cluster zu reproduzieren, und untersuche die erwähnte split-Option für die Ausgabehandhabung. Als erledigt gilt die Aufgabe, wenn Jobs übermittelt werden können, ohne dass die sendende Sitzung auf die erfasste Ausgabe wartet, während Warnungen ausschließlich in die Slurm-Logdateien geschrieben werden.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- r
- Bereich
- hpc
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100