Project-MONAI / Project-MONAI/tutorials
Training time of MAISI VAE
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 2.5k
- Forks
- 803
- Merge medio
- 6 d 22 h
- PR fusionados (30 d)
- 3
Descripción
Hi, I am trying to train the MAISI VAE from scratch using my dataset.
I wonder how long it takes to train on such a large dataset?
When I use 30k CT scans, it takes nearly 20 hours for 1 epoch on two A100. Is it correct? I use DDP, but I found it was even slower when I increased the GPU number.
If so, is there any method to accelerate the training process?
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
Comience con el punto de entrada del entrenamiento de MAISI VAE y su configuración de DDP, y luego reproduzca la época reportada de 20 horas en 30k exploraciones de CT utilizando dos GPU A100. No se identifica ningún archivo ni prueba; darlo por terminado requeriría establecer si el tiempo y el escalado son los esperados y documentar un enfoque de aceleración compatible.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- pytorch
- Área
- machine-learning
- Tipo de issue
- Error
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 20/100