futureverse / futureverse/future.batchtools

use batchtools directly for scheduling

Offen
#70 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
R
Sterne
87
Forks
10
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Unless this has changed recently, future.batchtools creates a separate registry for each job. This approach misses out on some of the great features of batchtools--namely, being able to check on the status of all your jobs (including viewing logs, completion status, error messages etc) via a second interactive R session by navigating to the registry location. Since each job gets its own registry when using future.batchtools, this makes it very difficult to track the status of individual jobs.

Additionally, creating a separate registry for each job considerably slows down startup relative to a pure batchtools approach.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne damit, zu untersuchen, wie future.batchtools für jeden Job eine separate Registry erstellt, und vergleiche dieses Verhalten mit der direkten Verwendung der batchtools-Registry. Die Arbeit ist abgeschlossen, wenn Jobs aus einer anderen R-Sitzung über eine einzige Registry gemeinsam überwacht werden können und der Start nicht mehr durch die Erstellung einer Registry pro Job verlangsamt wird.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
r
Bereich
distributed-systems, hpc
Issue-Typ
Refactoring
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.