Azure / Azure/MachineLearningNotebooks
CUDA issue on the Compute Instance
- Linguagem predominante
- Jupyter Notebook
- Estrelas
- 4.4k
- Forks
- 2.6k
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Descrição
PyTorch cannot detect GPUs on the Compute Instance with NVIDIA A100 GPUs. `nvidia-smi` and `nvcc --version` can return the installed CUDA version and CUDA toolkit versions. But PyTorch returns the following:
```bash
# python -c "import torch; print(torch.cuda.is_available())"
/opt/conda/lib/python3.8/site-packages/torch/cuda/__init__.py:80: UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 802: system not yet initialized (Triggered internally at /opt/pytorch/pytorch/c10/cuda/CUDAFunctions.cpp:112.)
return torch._C._cuda_getDeviceCount() > 0
False
```
I tried to pull PyTorch container from Nvidia NGC, AML base images, or compile PyTorch using pip/conda with GPU support. All have the same CUDA issue. I also cannot compile NCCL test on the Compute Instance with GPUs.
However, everything works fine on the Computer Cluster VMs. NCCL compiles/runs file and PyTorch has no issue with CUDA. I suspect CUDA is installed but not configured correctly on the Compute Instance VMs.
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Direção de pesquisa
Comece reproduzindo `python -c "import torch; print(torch.cuda.is_available())"` na Compute Instance e comparando o resultado com as Computer Cluster VMs funcionais. Verifique a saída reportada de `nvidia-smi`, `nvcc --version` e o erro de inicialização do CUDA; em seguida, confirme que o PyTorch detecta as GPUs A100 e que o teste do NCCL compila e é executado.
Escrita pelo modelo de indexação a partir do texto da issue.
Avaliação
- Stack de tecnologia
- python, pytorch
- Domínio
- cloud, infrastructure, machine-learning
- Tipo de issue
- Bug
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Status de atividade
- Estagnada
- Clareza
- Precisa de esclarecimento
- Facilidade para iniciantes
- 25/100