Azure / Azure/MachineLearningNotebooks

CUDA issue on the Compute Instance

オープン
#1,839 コメント 0 件 リアクション 2 件 担当者 0 名 GitHub で見る
主要言語
Jupyter Notebook
スター
4.4k
フォーク
2.6k
PR マージ指標
30日以内にマージされた PR はありません

説明

PyTorch cannot detect GPUs on the Compute Instance with NVIDIA A100 GPUs. `nvidia-smi` and `nvcc --version` can return the installed CUDA version and CUDA toolkit versions. But PyTorch returns the following:

```bash
# python -c "import torch; print(torch.cuda.is_available())"
/opt/conda/lib/python3.8/site-packages/torch/cuda/__init__.py:80: UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 802: system not yet initialized (Triggered internally at /opt/pytorch/pytorch/c10/cuda/CUDAFunctions.cpp:112.)
return torch._C._cuda_getDeviceCount() > 0
False
```

I tried to pull PyTorch container from Nvidia NGC, AML base images, or compile PyTorch using pip/conda with GPU support. All have the same CUDA issue. I also cannot compile NCCL test on the Compute Instance with GPUs.

However, everything works fine on the Computer Cluster VMs. NCCL compiles/runs file and PyTorch has no issue with CUDA. I suspect CUDA is installed but not configured correctly on the Compute Instance VMs.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

まず Compute Instance 上で `python -c "import torch; print(torch.cuda.is_available())"` を再現し、動作している Computer Cluster VMs と比較します。報告された `nvidia-smi`、`nvcc --version` の結果と CUDA の初期化エラーを確認し、その後、PyTorch が A100 GPU を検出すること、および NCCL テストがコンパイルされて実行されることを検証します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python, pytorch
領域
cloud, infrastructure, machine-learning
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。