futureverse / futureverse/future.batchtools

steps to speed up job submission?

Offen
#36 13 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
question
Vorherrschende Sprache
R
Sterne
87
Forks
10
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

I'm using `future.batchtools` via `drake`, and just got my first plan running on the cluster. It seems to take about one minute for each job submitted, and since I'm trying to submit several hundred jobs, that's not ideal (although it's not a deal-breaker, because I expect each job to take many hours to finish). I'm not sure what I might be able to change in order to speed this up. I haven't dived into the code, but my idea of what needs to happen to start a worker is:

1. analyse the code to find dependencies
2. submit the job to the scheduler (SLURM in my case)
3. wait for the job to be allocated
4. wait for the worker to start up (and load libraries?)
5. send data to the worker (and libraries?)

Is this basically accurate?

Does the worker load libraries already installed on its node, or are all libraries sent to the worker by the master? If the latter, then reducing library dependencies seems like a potential avenue to try.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit der future.batchtools-Dokumentation zu Job-Übermittlung, SLURM-Zuweisung, Worker-Start und Abhängigkeitsverwaltung. Reproduziere die gemeldete Verzögerung mit einem kleinen Stapel von Jobs und verfolge anschließend, welche Phase für die benötigte Zeit verantwortlich ist. Als abgeschlossen gilt die Aufgabe, wenn die Übermittlungssequenz und die relevanten Konfigurationsoptionen erklärt sind oder ein spezifisches Performance-Problem identifiziert wurde.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
r
Bereich
distributed-systems, hpc
Issue-Typ
Dokumentation
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
20/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.