futureverse / futureverse/future.batchtools

retrieve future expression on local machine

Offen
#21 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
feature request question
Vorherrschende Sprache
R
Sterne
87
Forks
10
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Hi Henrik,

maybe that's utterly basic and the wrong place to ask, but I thought it might be of interest for more people:

Is there a way you can retrieve a future expressions in the following setup:

```
login <- tweak(remote, workers = "remote@remote")
bsub <- tweak(batchtools_lsf, ...)
plan(list(
login,
bsub,
multiprocess
))
```

and I submit the following job (just an example):

```
y %<-% furrr::future_map_dfr(1:5, function(x){
cores <- availableCores()
furrr::future_map_dfr(1:5, function(x){
tibble::tibble(x = x,
nodename = Sys.info()['nodename'],
Sys.getpid = Sys.getpid(),
availableCores = cores)
})
})
```

... let's imagine this takes an considerable amount of time and I would close my local r session in between submitting the job and its being finished.

After a login then (and rerunning the same plan again) I can't access y, neither can I access y on the remote machine in an R session. Is that possible in general?

If not, we wondered if you can save R objects somehow in an future_apply, submitted from a local machine and evaluated an a remote one?

Sorry for the very basic questions, just started to fiddle around with future.batchtools.

Cheers
Marco

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Überprüfe das Verhalten von future.batchtools für den gezeigten Plan mit login, batchtools_lsf und multiprocess. Beginne mit dem dokumentierten Lebenszyklus eines übermittelten Future und ermittle, ob Ergebnisse abgerufen werden können, nachdem die lokale R-Sitzung beendet wurde, oder von der Remote-Maschine aus; dokumentiere das unterstützte Verhalten und jeden erforderlichen Persistenzmechanismus.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
r
Bereich
distributed-systems, hpc
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.