Azure / Azure/MachineLearningNotebooks

CUDA issue on the Compute Instance

Aberta
#1,839 0 comentários 2 reações 0 responsáveis Ver no GitHub
Linguagem predominante
Jupyter Notebook
Estrelas
4.4k
Forks
2.6k
Métricas de merge de PRs
Nenhum PR com merge em 30d

Descrição

PyTorch cannot detect GPUs on the Compute Instance with NVIDIA A100 GPUs. `nvidia-smi` and `nvcc --version` can return the installed CUDA version and CUDA toolkit versions. But PyTorch returns the following:

```bash
# python -c "import torch; print(torch.cuda.is_available())"
/opt/conda/lib/python3.8/site-packages/torch/cuda/__init__.py:80: UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 802: system not yet initialized (Triggered internally at /opt/pytorch/pytorch/c10/cuda/CUDAFunctions.cpp:112.)
return torch._C._cuda_getDeviceCount() > 0
False
```

I tried to pull PyTorch container from Nvidia NGC, AML base images, or compile PyTorch using pip/conda with GPU support. All have the same CUDA issue. I also cannot compile NCCL test on the Compute Instance with GPUs.

However, everything works fine on the Computer Cluster VMs. NCCL compiles/runs file and PyTorch has no issue with CUDA. I suspect CUDA is installed but not configured correctly on the Compute Instance VMs.

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Direção de pesquisa

Comece reproduzindo `python -c "import torch; print(torch.cuda.is_available())"` na Compute Instance e comparando o resultado com as Computer Cluster VMs funcionais. Verifique a saída reportada de `nvidia-smi`, `nvcc --version` e o erro de inicialização do CUDA; em seguida, confirme que o PyTorch detecta as GPUs A100 e que o teste do NCCL compila e é executado.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
python, pytorch
Domínio
cloud, infrastructure, machine-learning
Tipo de issue
Bug
Dificuldade
4/5
Tempo estimado
3-5 dias
Status de atividade
Estagnada
Clareza
Precisa de esclarecimento
Facilidade para iniciantes
25/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.