aws / aws/sagemaker-python-sdk

Can you support a parameter to increase shared memory bus?

Abierto
#5,592 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
2.3k
Forks
1.3k
Merge medio
1 d 22 h
PR fusionados (30 d)
35

Descripción

Hi,

I am on version 3.4.1 on python 3.12.
I am running into errors like
```
RuntimeError: DataLoader worker (pid 256) is killed by signal: Bus error. It is possible that dataloader's workers are out of shared memory. Please try to raise your shared memory limit.
```

As far as I understand, this means the workers are using too much memory transferring it to the main process, and this error is being raised. The usual fix would be just to increase the memory bus limit, but it seems that sagemaker does not support such a parameter: https://stackoverflow.com/questions/71660619/how-to-alter-shared-memory-for-sagemaker-docker-containers (at least, that's the only result I found, from 4 years ago)

Would it be possible to add such a capability? It would help a lot - right now I am manually reducing the batch size just to fix this problem.

Thank you!

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

No se nombra ningún archivo del repositorio, prueba ni punto de entrada. Empieza por localizar la configuración del contenedor de entrenamiento de SageMaker y los parámetros de tiempo de ejecución existentes; después, determina dónde podría exponerse una configuración de memoria compartida; se considera terminado cuando el parámetro es compatible y su comportamiento está cubierto por pruebas o por un uso documentado.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
aws, python, pytorch
Área
cloud, machine-learning
Tipo de issue
Nueva funcionalidad
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.