Project-MONAI / Project-MONAI/tutorials
Training time of MAISI VAE
Nessuno ha ancora preso questa issue.
- Lingua principale
- Jupyter Notebook
- Stelle
- 2.5k
- Fork
- 803
- Merge medio
- 6g 22h
- PR unite (30g)
- 3
Descrizione
Hi, I am trying to train the MAISI VAE from scratch using my dataset.
I wonder how long it takes to train on such a large dataset?
When I use 30k CT scans, it takes nearly 20 hours for 1 epoch on two A100. Is it correct? I use DDP, but I found it was even slower when I increased the GPU number.
If so, is there any method to accelerate the training process?
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Iniziare dal punto di ingresso dell'addestramento di MAISI VAE e dalla relativa configurazione DDP, quindi riprodurre l'epoca di 20 ore segnalata su 30k scansioni CT utilizzando due GPU A100. Non è identificato alcun file o test; per considerare il lavoro completato sarebbe necessario stabilire se i tempi e la scalabilità sono quelli previsti e documentare un approccio di accelerazione supportato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- pytorch
- Ambito
- machine-learning
- Tipo di issue
- Bug
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 20/100