BlueBrain / BlueBrain/BluePyMM

memory issue in select with large number of combos

Offen
#203 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
13
Forks
9
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

It fails here: https://github.com/BlueBrain/BluePyMM/blob/master/bluepymm/select_combos/table_processing.py#L284
because the large dataframe is copied several times in the arg_list. There may be something simple to do here to fix that issue (or allow users to bypass multiprocessing).

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne bei bluepymm/select_combos/table_processing.py#L284 und verfolge, wie der große Dataframe während der Multiprocessing-Ausführung in arg_list kopiert wird. Reproduziere den Fehler mit einer großen Anzahl von Kombinationen und miss die Speichernutzung. Als erledigt gilt die Vermeidung der wiederholten Kopien oder die Bereitstellung einer dokumentierten Möglichkeit, Multiprocessing zu umgehen, wobei das ursprüngliche Auswahlverhalten erhalten bleibt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
data
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.