aws / aws/sagemaker-python-sdk

Can you support a parameter to increase shared memory bus?

Aperta
#5,592 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
2.3k
Fork
1.3k
Merge medio
1g 22h
PR unite (30g)
35

Descrizione

Hi,

I am on version 3.4.1 on python 3.12.
I am running into errors like
```
RuntimeError: DataLoader worker (pid 256) is killed by signal: Bus error. It is possible that dataloader's workers are out of shared memory. Please try to raise your shared memory limit.
```

As far as I understand, this means the workers are using too much memory transferring it to the main process, and this error is being raised. The usual fix would be just to increase the memory bus limit, but it seems that sagemaker does not support such a parameter: https://stackoverflow.com/questions/71660619/how-to-alter-shared-memory-for-sagemaker-docker-containers (at least, that's the only result I found, from 4 years ago)

Would it be possible to add such a capability? It would help a lot - right now I am manually reducing the batch size just to fix this problem.

Thank you!

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Non viene indicato alcun file del repository, test o punto di ingresso. Inizia individuando la configurazione del container di training di SageMaker e i parametri di runtime esistenti, quindi determina dove potrebbe essere esposta un’impostazione per la memoria condivisa; il lavoro è completato quando il parametro è supportato e il suo comportamento è coperto da test o da un utilizzo documentato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
aws, python, pytorch
Ambito
cloud, machine-learning
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.