AI-Hypercomputer / AI-Hypercomputer/JetStream
MOE with JetStream
Aperta
- Lingua principale
- Python
- Stelle
- 457
- Fork
- 67
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
Could someone explain or point to a doc that explains how MOE is implemented on Jetstream? Specifically, the all-to-all communications, static vs dynamic, sparse matmuls.
I would like to understand how XLA compiles MOE.
Guida per i contributori
Apri la guida per i contributori
Valutazione
Questa issue non è ancora stata valutata.