Project-MONAI / Project-MONAI/tutorials
Training time of MAISI VAE
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 2.5k
- Forks
- 803
- Ø Merge
- 6 T. 22 Std.
- Gemergte PRs (30 T.)
- 3
Beschreibung
Hi, I am trying to train the MAISI VAE from scratch using my dataset.
I wonder how long it takes to train on such a large dataset?
When I use 30k CT scans, it takes nearly 20 hours for 1 epoch on two A100. Is it correct? I use DDP, but I found it was even slower when I increased the GPU number.
If so, is there any method to accelerate the training process?
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginnen Sie mit dem MAISI VAE-Trainingseinstiegspunkt und dessen DDP-Setup und reproduzieren Sie dann die gemeldete 20-stündige Epoche auf 30k CT-Scans mit zwei A100-GPUs. Es ist keine Datei und kein Test angegeben; abgeschlossen wäre die Aufgabe erst, wenn festgestellt wurde, ob die Zeitdauer und die Skalierung erwartungsgemäß sind, und ein unterstützter Ansatz zur Beschleunigung dokumentiert wurde.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- pytorch
- Bereich
- machine-learning
- Issue-Typ
- Bug
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 20/100