aws / aws/sagemaker-python-sdk

Can you support a parameter to increase shared memory bus?

Offen
#5,592 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
2.3k
Forks
1.3k
Ø Merge
1 T. 22 Std.
Gemergte PRs (30 T.)
35

Beschreibung

Hi,

I am on version 3.4.1 on python 3.12.
I am running into errors like
```
RuntimeError: DataLoader worker (pid 256) is killed by signal: Bus error. It is possible that dataloader's workers are out of shared memory. Please try to raise your shared memory limit.
```

As far as I understand, this means the workers are using too much memory transferring it to the main process, and this error is being raised. The usual fix would be just to increase the memory bus limit, but it seems that sagemaker does not support such a parameter: https://stackoverflow.com/questions/71660619/how-to-alter-shared-memory-for-sagemaker-docker-containers (at least, that's the only result I found, from 4 years ago)

Would it be possible to add such a capability? It would help a lot - right now I am manually reducing the batch size just to fix this problem.

Thank you!

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Keine Repository-Datei, kein Test und kein Einstiegspunkt werden genannt. Beginne damit, die Konfiguration des SageMaker-Trainingscontainers und die vorhandenen Laufzeitparameter zu finden, und ermittle anschließend, wo eine Einstellung für den gemeinsam genutzten Speicher bereitgestellt werden könnte; abgeschlossen ist die Aufgabe, wenn der Parameter unterstützt wird und sein Verhalten durch Tests oder eine dokumentierte Verwendung abgedeckt ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
aws, python, pytorch
Bereich
cloud, machine-learning
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.