AI-Hypercomputer / AI-Hypercomputer/JetStream
MOE with JetStream
オープン
- 主要言語
- Python
- スター
- 457
- フォーク
- 67
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
Could someone explain or point to a doc that explains how MOE is implemented on Jetstream? Specifically, the all-to-all communications, static vs dynamic, sparse matmuls.
I would like to understand how XLA compiles MOE.
コントリビューションガイド
評価
この issue はまだ評価されていません。