futureverse / futureverse/future.batchtools
steps to speed up job submission?
- Lingua principale
- R
- Stelle
- 87
- Fork
- 10
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
I'm using `future.batchtools` via `drake`, and just got my first plan running on the cluster. It seems to take about one minute for each job submitted, and since I'm trying to submit several hundred jobs, that's not ideal (although it's not a deal-breaker, because I expect each job to take many hours to finish). I'm not sure what I might be able to change in order to speed this up. I haven't dived into the code, but my idea of what needs to happen to start a worker is:
1. analyse the code to find dependencies
2. submit the job to the scheduler (SLURM in my case)
3. wait for the job to be allocated
4. wait for the worker to start up (and load libraries?)
5. send data to the worker (and libraries?)
Is this basically accurate?
Does the worker load libraries already installed on its node, or are all libraries sent to the worker by the master? If the latter, then reducing library dependencies seems like a potential avenue to try.
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia dalla documentazione di future.batchtools relativa all’invio dei job, all’allocazione SLURM, all’avvio dei worker e alla gestione delle dipendenze. Riproduci il ritardo segnalato con un piccolo gruppo di job, quindi individua quale fase è responsabile del tempo impiegato. Il lavoro è completato quando vengono spiegati la sequenza di invio e i parametri di configurazione pertinenti, oppure viene identificato uno specifico problema di prestazioni.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- r
- Ambito
- distributed-systems, hpc
- Tipo di issue
- Documentazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 20/100