BlueBrain / BlueBrain/BluePyMM

memory issue in select with large number of combos

Abierto
#203 1 comentario 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
13
Forks
9
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

It fails here: https://github.com/BlueBrain/BluePyMM/blob/master/bluepymm/select_combos/table_processing.py#L284
because the large dataframe is copied several times in the arg_list. There may be something simple to do here to fix that issue (or allow users to bypass multiprocessing).

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Comienza en bluepymm/select_combos/table_processing.py#L284 y sigue cómo el gran dataframe se copia en arg_list durante el multiprocesamiento. Reproduce el fallo con un gran número de combinaciones y mide el uso de memoria. Se considera terminado cuando se evitan las copias repetidas o se proporciona una forma documentada de omitir el multiprocesamiento, preservando el comportamiento de selección original.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
data
Tipo de issue
Error
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.