aws / aws/sagemaker-python-sdk

Can you support a parameter to increase shared memory bus?

Đang mở
#5,592 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Python
Star
2.3k
Fork
1.3k
Merge trung bình
1 ngày 22 giờ
Pull request đã merge (30 ngày)
35

Mô tả

Hi,

I am on version 3.4.1 on python 3.12.
I am running into errors like
```
RuntimeError: DataLoader worker (pid 256) is killed by signal: Bus error. It is possible that dataloader's workers are out of shared memory. Please try to raise your shared memory limit.
```

As far as I understand, this means the workers are using too much memory transferring it to the main process, and this error is being raised. The usual fix would be just to increase the memory bus limit, but it seems that sagemaker does not support such a parameter: https://stackoverflow.com/questions/71660619/how-to-alter-shared-memory-for-sagemaker-docker-containers (at least, that's the only result I found, from 4 years ago)

Would it be possible to add such a capability? It would help a lot - right now I am manually reducing the batch size just to fix this problem.

Thank you!

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Không có tệp, bài kiểm thử hoặc điểm vào nào của repository được nêu tên. Bắt đầu bằng việc xác định cấu hình container huấn luyện của SageMaker và các tham số runtime hiện có, sau đó xác định nơi có thể expose một thiết lập bộ nhớ dùng chung; được coi là hoàn tất khi tham số đó được hỗ trợ và hành vi của nó được bao phủ bởi các bài kiểm thử hoặc cách sử dụng được tài liệu hóa.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
aws, python, pytorch
Lĩnh vực
cloud, machine-learning
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.