Auto3Dseg cuda OOM during Ensembling

Abierto

#1,505 abierto el 4/9/2023 14 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad: 4/5
Tiempo estimado: 3-5 días
Aptitud para principiantes: 30/100

Tipo de issue: Error
Claridad: Necesita aclaración
Estado de actividad: Estancado
Stack tecnológico: jupyter-notebook, python, pytorch
Área: machine-learning, performance

Línea de trabajo

Comienza con la ruta de ensembling de Autorunner y reproduce el fallo en el conjunto de datos AMOS22 utilizando las versiones y el entorno indicados en el issue. No se nombra ningún archivo fuente ni ninguna prueba; se considera terminado cuando el ensembling se completa sin un error de CUDA out-of-memory y el entrenamiento continúa correctamente.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Describe the bug
Models have all finished training, and during the ensembling process, cuda runs out of memory.

Reproduce
Steps to reproduce the behavior:
Run Autorunner on AMOS22 dataset

manually resetting cuda cache, restarting kernel and instance all come back to this error.

Expected behavior
training proceeds without error
MONAI version: 1.2.0
Numpy version: 1.25.2
Pytorch version: 2.0.1+cu117
MONAI flags: HAS_EXT = False, USE_COMPILED = False, USE_META_DICT = False
MONAI rev id: c33f1ba588ee00229a309000e888f9817b4f1934
MONAI file: /home/exouser/.local/lib/python3.10/site-packages/monai/init.py

Optional dependencies:
Pytorch Ignite version: 0.4.11
ITK version: 5.3.0
Nibabel version: 5.1.0
scikit-image version: 0.21.0
Pillow version: 9.0.1
Tensorboard version: 2.14.0
gdown version: 4.7.1
TorchVision version: 0.15.2+cu117
tqdm version: 4.66.1
lmdb version: 1.4.1
psutil version: 5.9.0
pandas version: 2.0.3
einops version: 0.6.1
transformers version: 4.21.3
mlflow version: 2.6.0
pynrrd version: 1.0.0

Environment (please complete the following information):
OS: ubuntu 22.04
Python 3.10.12
Driver Version: 525.85.05 CUDA Version: 12.0
GRID A100X-40C - 125GB RAM

I'm happy to provide any other logs to help, this is the second time I've run into this issue, the issue persists after a full kernel restart and RAM clearing.

Lenguaje dominante: Jupyter Notebook
Estrellas: 2.5k
Forks: 803
Merge medio: 6 d 22 h
PR fusionados (30 d): 3

Guía de contribución

Abrir la guía de contribución

Primeros pasos

Lee el issue completo y luego la guía de contribución del proyecto.
Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
Haz un fork del repositorio y trabaja en una rama.
Abre un pull request que haga referencia al número del issue.

Más de Project-MONAI/tutorials

Bug: need to specify hash_type='md5' in densenet_training_array.ipynb Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100

Project-MONAI/tutorials#2076 · Abierto el 19/9/2026
replace monai.io in the tutorials Abierto

Dificultad 1/5 1-3 horas Aptitud para principiantes 76/100

Project-MONAI/tutorials#2069 · Abierto el 27/8/2026
the argument needed to change the default directory in pathology/tumor_detection/README.MD Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100

Project-MONAI/tutorials#1704 · Abierto el 30/4/2024
Tutorial proposal: complete AlbumentationsX augmentation pipeline for HoVerNet Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 62/100

Project-MONAI/tutorials#2071 · Abierto el 2/9/2026
how to select valve segmentation in Auto3DSeg Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

Project-MONAI/tutorials#2067 · Abierto el 20/7/2026

Todos los issues de Project-MONAI/tutorials

Issues similares

[Bug]: RRCFDetector.fit()/predict() require pandas input despite array-like docstring Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

bancolombia/sentinel#21 · Abierto el 20/9/2026
Agent: empty B_action_dependencies entry ([[0], []]) fails with a batch-size error Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100

infer-actively/pymdp#454 · Abierto el 20/9/2026
StaticEmbedding.from_distillation ignores auto-detected device Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100

huggingface/sentence-transformers#4055 · 1 comentario · Abierto el 20/9/2026
[BUG] GeometricMeanAbsoluteError class drops the zero-error epsilon guard, diverging from the function and its own docstring Abierto

bug

Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

sktime/sktime#11223 · Abierto el 20/9/2026
apps: declared dataset_samples is 5000 but the default task evaluates 3000 Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 94/100

UKGovernmentBEIS/inspect_evals#2486 · 1 comentario · Abierto el 20/9/2026

Más issues de Machine Learning