JuliaParallel / JuliaParallel/DistributedArrays.jl
bad scaling in `map`
- 主要言語
- Julia
- スター
- 205
- フォーク
- 34
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
```
julia> using Distributed
julia> addprocs(2);
julia> @everywhere using DistributedArrays
julia> a = fill(1000,10);
julia> da = distribute(a);
julia> @time map(x->rand(x,x)^2, a);
0.903241 seconds (63.61 k allocations: 155.698 MiB, 29.39% gc time)
julia> @time map(x->rand(x,x)^2, da);
0.967328 seconds (776.84 k allocations: 38.713 MiB)
```
(first time compilation omitted)
Even though this is embarrassingly parallel, the distributed version is consistently around the same time or slower. I tried this in julia 0.3 and the distributed time is around 0.5 seconds, close to the expected ~2x speedup.
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
Reproduce the reported timings using Distributed, addprocs(2), distribute, and map as shown in the issue. Trace the map and distribute entry points to find why the distributed call does not improve on the serial call. Done means the cause is identified and the distributed benchmark shows the expected scaling, with regression coverage if an existing test location is found.
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- julia
- 領域
- distributed-systems
- issue の種類
- バグ
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 35/100