JuliaParallel / JuliaParallel/DistributedArrays.jl

bad scaling in `map`

Offen
#191 8 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Julia
Sterne
205
Forks
34
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

```
julia> using Distributed

julia> addprocs(2);

julia> @everywhere using DistributedArrays

julia> a = fill(1000,10);

julia> da = distribute(a);

julia> @time map(x->rand(x,x)^2, a);
0.903241 seconds (63.61 k allocations: 155.698 MiB, 29.39% gc time)

julia> @time map(x->rand(x,x)^2, da);
0.967328 seconds (776.84 k allocations: 38.713 MiB)
```
(first time compilation omitted)

Even though this is embarrassingly parallel, the distributed version is consistently around the same time or slower. I tried this in julia 0.3 and the distributed time is around 0.5 seconds, close to the expected ~2x speedup.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Reproduce the reported timings using Distributed, addprocs(2), distribute, and map as shown in the issue. Trace the map and distribute entry points to find why the distributed call does not improve on the serial call. Done means the cause is identified and the distributed benchmark shows the expected scaling, with regression coverage if an existing test location is found.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
julia
Bereich
distributed-systems
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.