Pipeline parallelism
オープン
- 主要言語
- C
- スター
- 22.3k
- フォーク
- 2.1k
- 平均マージ
- 1日 3時間
- マージ済み PR（30日）
- 4
説明
I have a 2 node Strix halo 128GB setup (256GB total) running Deepseek V4 flash. I noticed that at all times one of the nodes is doing nothing waiting for the other node to complete its work. All the while requests are being piled up waiting to be processed.
Maybe we can do something so that multiple nodes can process different requests in parallel so they don't sit there doing nothing?
コントリビューションガイド
評価
この issue はまだ評価されていません。