BlueBrain / BlueBrain/BluePyMM
memory issue in select with large number of combos
オープン
- 主要言語
- Python
- スター
- 13
- フォーク
- 9
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
It fails here: https://github.com/BlueBrain/BluePyMM/blob/master/bluepymm/select_combos/table_processing.py#L284
because the large dataframe is copied several times in the arg_list. There may be something simple to do here to fix that issue (or allow users to bypass multiprocessing).
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
bluepymm/select_combos/table_processing.py#L284 から開始し、multiprocessing 中に大きな dataframe が arg_list にコピーされる流れを追跡します。大量の組み合わせで失敗を再現し、メモリ使用量を測定します。繰り返しのコピーを回避するか、multiprocessing を回避するための文書化された方法を提供し、元の選択動作を維持できれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python
- 領域
- data
- issue の種類
- バグ
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 35/100