AI-Hypercomputer / AI-Hypercomputer/JetStream
MOE with JetStream
Aberta
- Linguagem predominante
- Python
- Estrelas
- 457
- Forks
- 67
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Descrição
Could someone explain or point to a doc that explains how MOE is implemented on Jetstream? Specifically, the all-to-all communications, static vs dynamic, sparse matmuls.
I would like to understand how XLA compiles MOE.
Guia de contribuição
Avaliação
Esta issue ainda não foi avaliada.