futureverse / futureverse/future.batchtools
retrieve future expression on local machine
- Lenguaje dominante
- R
- Estrellas
- 87
- Forks
- 10
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Descripción
Hi Henrik,
maybe that's utterly basic and the wrong place to ask, but I thought it might be of interest for more people:
Is there a way you can retrieve a future expressions in the following setup:
```
login <- tweak(remote, workers = "remote@remote")
bsub <- tweak(batchtools_lsf, ...)
plan(list(
login,
bsub,
multiprocess
))
```
and I submit the following job (just an example):
```
y %<-% furrr::future_map_dfr(1:5, function(x){
cores <- availableCores()
furrr::future_map_dfr(1:5, function(x){
tibble::tibble(x = x,
nodename = Sys.info()['nodename'],
Sys.getpid = Sys.getpid(),
availableCores = cores)
})
})
```
... let's imagine this takes an considerable amount of time and I would close my local r session in between submitting the job and its being finished.
After a login then (and rerunning the same plan again) I can't access y, neither can I access y on the remote machine in an R session. Is that possible in general?
If not, we wondered if you can save R objects somehow in an future_apply, submitted from a local machine and evaluated an a remote one?
Sorry for the very basic questions, just started to fiddle around with future.batchtools.
Cheers
Marco
Guía de contribución
Línea de trabajo
Revisa el comportamiento de future.batchtools para el plan mostrado usando login, batchtools_lsf y multiprocess. Comienza con el ciclo de vida documentado de un future enviado y determina si los resultados pueden recuperarse después de que se cierre la sesión local de R o desde la máquina remota; documenta el comportamiento compatible y cualquier mecanismo de persistencia requerido.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- r
- Área
- distributed-systems, hpc
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 25/100