AI-Hypercomputer / AI-Hypercomputer/JetStream
MOE with JetStream
Ouverte
- Langage dominant
- Python
- Étoiles
- 457
- Forks
- 67
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Description
Could someone explain or point to a doc that explains how MOE is implemented on Jetstream? Specifically, the all-to-all communications, static vs dynamic, sparse matmuls.
I would like to understand how XLA compiles MOE.
Guide de contribution
Ouvrir le guide de contribution
Évaluation
Cette issue n'a pas encore été évaluée.