AI-Hypercomputer / AI-Hypercomputer/JetStream
MOE with JetStream
Đang mở
- Ngôn ngữ chính
- Python
- Star
- 457
- Fork
- 67
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
Could someone explain or point to a doc that explains how MOE is implemented on Jetstream? Specifically, the all-to-all communications, static vs dynamic, sparse matmuls.
I would like to understand how XLA compiles MOE.
Hướng dẫn đóng góp
Đánh giá
Issue này chưa được đánh giá.