futureverse / futureverse/future.batchtools
retrieve future expression on local machine
- Lingua principale
- R
- Stelle
- 87
- Fork
- 10
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
Hi Henrik,
maybe that's utterly basic and the wrong place to ask, but I thought it might be of interest for more people:
Is there a way you can retrieve a future expressions in the following setup:
```
login <- tweak(remote, workers = "remote@remote")
bsub <- tweak(batchtools_lsf, ...)
plan(list(
login,
bsub,
multiprocess
))
```
and I submit the following job (just an example):
```
y %<-% furrr::future_map_dfr(1:5, function(x){
cores <- availableCores()
furrr::future_map_dfr(1:5, function(x){
tibble::tibble(x = x,
nodename = Sys.info()['nodename'],
Sys.getpid = Sys.getpid(),
availableCores = cores)
})
})
```
... let's imagine this takes an considerable amount of time and I would close my local r session in between submitting the job and its being finished.
After a login then (and rerunning the same plan again) I can't access y, neither can I access y on the remote machine in an R session. Is that possible in general?
If not, we wondered if you can save R objects somehow in an future_apply, submitted from a local machine and evaluated an a remote one?
Sorry for the very basic questions, just started to fiddle around with future.batchtools.
Cheers
Marco
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Esamina il comportamento di future.batchtools per il piano mostrato usando login, batchtools_lsf e multiprocess. Inizia dal ciclo di vita documentato di un future inviato e determina se i risultati possono essere recuperati dopo la chiusura della sessione R locale o dalla macchina remota; documenta il comportamento supportato e qualsiasi meccanismo di persistenza richiesto.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- r
- Ambito
- distributed-systems, hpc
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100