AI-Hypercomputer / AI-Hypercomputer/JetStream
MOE with JetStream
Offen
- Vorherrschende Sprache
- Python
- Sterne
- 457
- Forks
- 67
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Could someone explain or point to a doc that explains how MOE is implemented on Jetstream? Specifically, the all-to-all communications, static vs dynamic, sparse matmuls.
I would like to understand how XLA compiles MOE.
Beitragsleitfaden
Bewertung
Dieses Issue wurde noch nicht bewertet.