[roadmap] 🗺️ HyperParallel 26Q3-27Q1 Roadmap

🗺️ HyperParallel Roadmap

HyperParallel 作为 PyTorch 官方项目及 LLaMA-Factory 默认加速后端、无缝对齐HuggingFace生态演进，支持LLMs、多模态、世界模型高效训练，打造昇腾超节点亲和、易用性领先的分布式加速库。

🚀 2026 Q3 (Now)

• ✅ FSDP / TP / CP / EP / PP — 五大并行策略稳定可用
• ✅ 自定义重计算与 Swap — 灵活的重计算 / 权重卸载策略
• ✅ 分布式 Muon 优化器 — 新一代优化器分布式化
• 🛠️ 生态：支持主流 LLM&VLM 模型接入 — 打通主流模型生态

🎯 2026 Q4

• 🛠️ 去中心化多模数据负载均衡 — 多模态数据分布式均衡调度
• 📅 支持 torch.compile，优化 host bound — 编译优化、降低 host 侧瓶颈
• 📅 CP 增强：1M-10M 超长序列并行 — 超长上下文并行能力
• 📅 EP 增强：EPLB、MoonEP — 专家并行负载均衡与调度
• 📅 生态：支持主流 Diffusers 模型接入 — 扩散模型生态支持

🎯 2027 Q1

• 📅 自动并行策略搜索、自动 Offload — 自动寻找最优并行组合与卸载策略
• 📅 昇腾 Cube/Vector 异构多核并行 — 硬件级异构多核并行
• 📅 HyperParallel Native RL — 原生强化学习支持
• 📅 生态：World models support — 世界模型支持

schema_version: 1
source: gitcode
gitcode_repo: mindspore/hyper-parallel
gitcode_issue: 360
source_url: https://gitcode.com/mindspore/hyper-parallel/issues/360

Start by reading the roadmap items for 2026 Q3 through 2027 Q1 and compare them with the repository's existing project structure. The issue does not name an entry point, file, test, or single deliverable, so completion criteria and a first implementation task would need to be defined before work can begin.