Auto3Dseg cuda OOM during Ensembling
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 30/100
- Tipo de issue
- Bug
- Clareza
- Precisa de esclarecimento
- Status de atividade
- Estagnada
- Stack de tecnologia
- jupyter-notebook, python, pytorch
- Domínio
- machine-learning, performance
Direção de pesquisa
Comece pelo caminho de ensembling do Autorunner e reproduza a falha no conjunto de dados AMOS22 usando as versões e o ambiente listados no issue. Nenhum arquivo-fonte ou teste é especificado; considera-se concluído quando o ensembling é concluído sem um erro de CUDA out-of-memory e o treinamento prossegue com sucesso.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Describe the bug
Models have all finished training, and during the ensembling process, cuda runs out of memory.
Reproduce
Steps to reproduce the behavior:
Run Autorunner on AMOS22 dataset
manually resetting cuda cache, restarting kernel and instance all come back to this error.
Expected behavior
training proceeds without error
MONAI version: 1.2.0
Numpy version: 1.25.2
Pytorch version: 2.0.1+cu117
MONAI flags: HAS_EXT = False, USE_COMPILED = False, USE_META_DICT = False
MONAI rev id: c33f1ba588ee00229a309000e888f9817b4f1934
MONAI file: /home/exouser/.local/lib/python3.10/site-packages/monai/init.py
Optional dependencies:
Pytorch Ignite version: 0.4.11
ITK version: 5.3.0
Nibabel version: 5.1.0
scikit-image version: 0.21.0
Pillow version: 9.0.1
Tensorboard version: 2.14.0
gdown version: 4.7.1
TorchVision version: 0.15.2+cu117
tqdm version: 4.66.1
lmdb version: 1.4.1
psutil version: 5.9.0
pandas version: 2.0.3
einops version: 0.6.1
transformers version: 4.21.3
mlflow version: 2.6.0
pynrrd version: 1.0.0
Environment (please complete the following information):
OS: ubuntu 22.04
Python 3.10.12
Driver Version: 525.85.05 CUDA Version: 12.0
GRID A100X-40C - 125GB RAM
I'm happy to provide any other logs to help, this is the second time I've run into this issue, the issue persists after a full kernel restart and RAM clearing.
- Linguagem predominante
- Jupyter Notebook
- Estrelas
- 2.5k
- Forks
- 803
- Merge médio
- 6d 22h
- PRs com merge (30d)
- 3
Guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de Project-MONAI/tutorials
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 92/100
Project-MONAI/tutorials#2076 ·
-
Dificuldade 1/5 1-3 horas Facilidade para iniciantes 76/100
Project-MONAI/tutorials#2069 ·
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 85/100
Project-MONAI/tutorials#1704 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 62/100
Project-MONAI/tutorials#2071 ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 35/100
Project-MONAI/tutorials#2067 ·
Todas as issues de Project-MONAI/tutorials
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
bancolombia/sentinel#21 ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 85/100
infer-actively/pymdp#454 ·
-
bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 94/100
UKGovernmentBEIS/inspect_evals#2486 · 1 comentário ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 88/100