JuliaParallel / JuliaParallel/DistributedArrays.jl

DArray should be lazy/futures

オープン
#209 コメント 2 件 リアクション 0 件 担当者 1 名 @vchuravy が担当を希望しています GitHub で見る
enhancement help wanted speculative
主要言語
Julia
スター
205
フォーク
34
PR マージ指標
30日以内にマージされた PR はありません

説明

One of the current issues with DArray is that each operation is immediately synchronizing. Requiring a distributed operation to finish before we can carry on with scheduling new operations. This simplifies the design,
but limits the scalability. Ideally we would want operations on DArray to be async/lazy similar to how CuArray works, and only synchronize on `show` and `convert`.

The major design issue here is to guarantee consistency. Operations need to appear to have executed in-order,
even though we might want to be able to execute reads out-of-order, but we will have to deal with updating data in-place. One idea might be to use vector clocks or look into how Fractal handles this or to run a consensus protocol to establish operations that can commit.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。