BlueBrain / BlueBrain/BluePyMM
memory issue in select with large number of combos
- Lingua principale
- Python
- Stelle
- 13
- Fork
- 9
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
It fails here: https://github.com/BlueBrain/BluePyMM/blob/master/bluepymm/select_combos/table_processing.py#L284
because the large dataframe is copied several times in the arg_list. There may be something simple to do here to fix that issue (or allow users to bypass multiprocessing).
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia da bluepymm/select_combos/table_processing.py#L284 e segui come il grande dataframe viene copiato in arg_list durante il multiprocessing. Riproduci il malfunzionamento con un numero elevato di combinazioni e misura l’utilizzo della memoria. Il lavoro è completato quando si evitano le copie ripetute oppure si fornisce un modo documentato per bypassare il multiprocessing, mantenendo invariato il comportamento di selezione originale.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- data
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100