futureverse / futureverse/future.batchtools

retrieve future expression on local machine

Abierto
#21 1 comentario 0 reacciones 0 asignados Ver en GitHub
feature request question
Lenguaje dominante
R
Estrellas
87
Forks
10
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

Hi Henrik,

maybe that's utterly basic and the wrong place to ask, but I thought it might be of interest for more people:

Is there a way you can retrieve a future expressions in the following setup:

```
login <- tweak(remote, workers = "remote@remote")
bsub <- tweak(batchtools_lsf, ...)
plan(list(
login,
bsub,
multiprocess
))
```

and I submit the following job (just an example):

```
y %<-% furrr::future_map_dfr(1:5, function(x){
cores <- availableCores()
furrr::future_map_dfr(1:5, function(x){
tibble::tibble(x = x,
nodename = Sys.info()['nodename'],
Sys.getpid = Sys.getpid(),
availableCores = cores)
})
})
```

... let's imagine this takes an considerable amount of time and I would close my local r session in between submitting the job and its being finished.

After a login then (and rerunning the same plan again) I can't access y, neither can I access y on the remote machine in an R session. Is that possible in general?

If not, we wondered if you can save R objects somehow in an future_apply, submitted from a local machine and evaluated an a remote one?

Sorry for the very basic questions, just started to fiddle around with future.batchtools.

Cheers
Marco

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Revisa el comportamiento de future.batchtools para el plan mostrado usando login, batchtools_lsf y multiprocess. Comienza con el ciclo de vida documentado de un future enviado y determina si los resultados pueden recuperarse después de que se cierre la sesión local de R o desde la máquina remota; documenta el comportamiento compatible y cualquier mecanismo de persistencia requerido.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
r
Área
distributed-systems, hpc
Tipo de issue
Nueva funcionalidad
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
25/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.