Auto3Dseg cuda OOM during Ensembling

Offen

#1,505 erstellt am 04.9.2023 14 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 4/5
Geschätzter Aufwand: 3-5 Tage
Anfängerfreundlichkeit: 30/100

Issue-Typ: Bug
Klarheit: Muss geklärt werden
Aktivitätsstatus: Veraltet
Tech-Stack: jupyter-notebook, python, pytorch
Bereich: machine-learning, performance

Rechercherichtung

Beginne mit dem Autorunner-Ensembling-Pfad und reproduziere den Fehler auf dem AMOS22-Datensatz unter Verwendung der im Issue aufgeführten Versionen und Umgebung. Es ist keine Quelldatei oder kein Test benannt; als erledigt gilt die Aufgabe, wenn das Ensembling ohne einen CUDA-Out-of-Memory-Fehler abgeschlossen wird und das Training erfolgreich fortgesetzt wird.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Describe the bug
Models have all finished training, and during the ensembling process, cuda runs out of memory.

Reproduce
Steps to reproduce the behavior:
Run Autorunner on AMOS22 dataset

manually resetting cuda cache, restarting kernel and instance all come back to this error.

Expected behavior
training proceeds without error
MONAI version: 1.2.0
Numpy version: 1.25.2
Pytorch version: 2.0.1+cu117
MONAI flags: HAS_EXT = False, USE_COMPILED = False, USE_META_DICT = False
MONAI rev id: c33f1ba588ee00229a309000e888f9817b4f1934
MONAI file: /home/exouser/.local/lib/python3.10/site-packages/monai/init.py

Optional dependencies:
Pytorch Ignite version: 0.4.11
ITK version: 5.3.0
Nibabel version: 5.1.0
scikit-image version: 0.21.0
Pillow version: 9.0.1
Tensorboard version: 2.14.0
gdown version: 4.7.1
TorchVision version: 0.15.2+cu117
tqdm version: 4.66.1
lmdb version: 1.4.1
psutil version: 5.9.0
pandas version: 2.0.3
einops version: 0.6.1
transformers version: 4.21.3
mlflow version: 2.6.0
pynrrd version: 1.0.0

Environment (please complete the following information):
OS: ubuntu 22.04
Python 3.10.12
Driver Version: 525.85.05 CUDA Version: 12.0
GRID A100X-40C - 125GB RAM

I'm happy to provide any other logs to help, this is the second time I've run into this issue, the issue persists after a full kernel restart and RAM clearing.

Vorherrschende Sprache: Jupyter Notebook
Sterne: 2.5k
Forks: 803
Ø Merge: 6 T. 22 Std.
Gemergte PRs (30 T.): 3

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus Project-MONAI/tutorials

Bug: need to specify hash_type='md5' in densenet_training_array.ipynb Offen

Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 92/100

Project-MONAI/tutorials#2076 · Erstellt am 19.9.2026
replace monai.io in the tutorials Offen

Schwierigkeit 1/5 1-3 Stunden Anfängerfreundlichkeit 76/100

Project-MONAI/tutorials#2069 · Erstellt am 27.8.2026
the argument needed to change the default directory in pathology/tumor_detection/README.MD Offen

Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 85/100

Project-MONAI/tutorials#1704 · Erstellt am 30.4.2024
Tutorial proposal: complete AlbumentationsX augmentation pipeline for HoVerNet Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 62/100

Project-MONAI/tutorials#2071 · Erstellt am 02.9.2026
how to select valve segmentation in Auto3DSeg Offen

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 35/100

Project-MONAI/tutorials#2067 · Erstellt am 20.7.2026

Alle Issues in Project-MONAI/tutorials