aws / aws/sagemaker-python-sdk

Can you support a parameter to increase shared memory bus?

オープン
#5,592 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
2.3k
フォーク
1.3k
平均マージ
1日 22時間
マージ済み PR(30日)
35

説明

Hi,

I am on version 3.4.1 on python 3.12.
I am running into errors like
```
RuntimeError: DataLoader worker (pid 256) is killed by signal: Bus error. It is possible that dataloader's workers are out of shared memory. Please try to raise your shared memory limit.
```

As far as I understand, this means the workers are using too much memory transferring it to the main process, and this error is being raised. The usual fix would be just to increase the memory bus limit, but it seems that sagemaker does not support such a parameter: https://stackoverflow.com/questions/71660619/how-to-alter-shared-memory-for-sagemaker-docker-containers (at least, that's the only result I found, from 4 years ago)

Would it be possible to add such a capability? It would help a lot - right now I am manually reducing the batch size just to fix this problem.

Thank you!

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

リポジトリのファイル、テスト、エントリポイントは指定されていません。まず SageMaker トレーニングコンテナの設定と既存のランタイムパラメータを探し、次に共有メモリの設定を公開できる場所を判断します。完了の条件は、パラメータがサポートされ、その動作がテストまたは文書化された使用方法によってカバーされていることです。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
aws, python, pytorch
領域
cloud, machine-learning
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。