4paradigm / 4paradigm/k8s-vgpu-scheduler
core dump when request 2 or more gpus with Tesla T4
- Ngôn ngữ chính
- Go
- Star
- 595
- Fork
- 100
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
### 1. Issue or feature description
It's ok when request 1 gpu in yaml. But when request more than 1, the output of nvidia-smi is below:

The output of nvidia-smi in host machine is ok.
In another machine with GeForce RTX 2070 SUPER ,it's all right when request 2 gpus.

but when I run application locally , it abort due to :
```
[4pdvGPU ERROR (pid:697 thread=140106827071488 context.c:189)]: cuCtxGetDevice Not Found. tid=140106827071488 ctx=0x239601906000:0x23960041a000
home/limengxuan/work/libcuda_override/src/cuda/context.c:189: cuCtxGetDevice: Assertion `0' failed.
```
### 2. Steps to reproduce the issue
ubuntu1~20.04 + microk8s + Tesla T4 GPU + 510driver
### 3. Information to [attach](https://help.github.com/articles/file-attachments-on-issues-and-pull-requests/) (optional if deemed irrelevant)
Common error checking:
- [ ] The output of `nvidia-smi -a` on your host

- [ ] Your docker configuration file (e.g: `/etc/docker/daemon.json`)
-{
"default-runtime": "nvidia",
"runtimes": {
"nvidia": {
"path": "nvidia-container-runtime",
"runtimeArgs": []
}
}
}
Additional information that might help better understand your environment and reproduce the bug:
- [ ] Any relevant kernel output lines from `dmesg`
```
nvidia-smi[2260220]: segfault at 0 ip 00007fde46d051ce sp 00007ffe1ae4c9e8 error 4 in libc-2.31.so[7fde46b9d000+178000]
[89993.700532] Code: fd d7 c9 0f bc d1 c5 fe 7f 27 c5 fe 7f 6f 20 c5 fe 7f 77 40 c5 fe 7f 7f 60 49 83 c0 1f 49 29 d0 48 8d 7c 17 61 e9 c2 04 00 00 fe 6f 1e c5 fe 6f 56 20 c5 fd 74 cb c5 fd d7 d1 49 83 f8 21 0f
[90182.697502] nvidia-smi[2265941]: segfault at 0 ip 00007f241971c1ce sp 00007fffff703d08 error 4 in libc-2.31.so[7f24195b4000+178000]
[90182.697509] Code: fd d7 c9 0f bc d1 c5 fe 7f 27 c5 fe 7f 6f 20 c5 fe 7f 77 40 c5 fe 7f 7f 60 49 83 c0 1f 49 29 d0 48 8d 7c 17 61 e9 c2 04 00 00 fe 6f 1e c5 fe 6f 56 20 c5 fd 74 cb c5 fd d7 d1 49 83 f8 21 0f
```
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Issue này liên quan đến một core dump khi yêu cầu nhiều GPU Tesla T4 thông qua k8s-vgpu-scheduler. Bắt đầu bằng cách kiểm tra mã của Device Plugin xử lý việc phân bổ nhiều GPU, đặc biệt là phần quản lý ngữ cảnh CUDA. Kiểm tra logs và đầu ra dmesg được cung cấp để tìm các Segmentation Fault trong nvidia-smi. Tái tạo môi trường với Ubuntu 20.04, microk8s, Tesla T4 và driver 510. Xem xét cấu hình của nvidia-container-runtime và cách scheduler ánh xạ nhiều GPU vào các pod.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- docker, kubernetes
- Lĩnh vực
- cloud, devops, infrastructure
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100