futureverse / futureverse/future.batchtools
use batchtools directly for scheduling
- Vorherrschende Sprache
- R
- Sterne
- 87
- Forks
- 10
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Unless this has changed recently, future.batchtools creates a separate registry for each job. This approach misses out on some of the great features of batchtools--namely, being able to check on the status of all your jobs (including viewing logs, completion status, error messages etc) via a second interactive R session by navigating to the registry location. Since each job gets its own registry when using future.batchtools, this makes it very difficult to track the status of individual jobs.
Additionally, creating a separate registry for each job considerably slows down startup relative to a pure batchtools approach.
Beitragsleitfaden
Rechercherichtung
Beginne damit, zu untersuchen, wie future.batchtools für jeden Job eine separate Registry erstellt, und vergleiche dieses Verhalten mit der direkten Verwendung der batchtools-Registry. Die Arbeit ist abgeschlossen, wenn Jobs aus einer anderen R-Sitzung über eine einzige Registry gemeinsam überwacht werden können und der Start nicht mehr durch die Erstellung einer Registry pro Job verlangsamt wird.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- r
- Bereich
- distributed-systems, hpc
- Issue-Typ
- Refactoring
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100