🍭[Roadmap] ms-swift3.6-3.8

模型

1. ✅最新模型接入 P0
2. Omni pending
   a. 部署支持输出音频
   b. 支持talker的训练
3. All-to-All优化 pending
4. ✅embedding: 支持推理、部署
5. ✅reranker训练支持
   a. 推理部署支持
6. 序列分类: 多标签/回归支持量化

训练

1. RAY支持 P0
2. ✅长文本ring attention
3. ✅AutoTP P0
4. ✅channel loss支持packing/padding_free
5. ✅多模态packing优化
6. ✅new_special_tokens支持
7. ✅多模态packing/padding_free支持更多模型
8. ✅混合模态训练支持更多模态
9. ✅flash-attention-3
10. ✅DFT

Megatron-SWIFT

1. 新模型支持
   a. ✅多模态: qwen2.5-VL/qwen2.5-Omni P0
   b. ✅DeepSeekV3
   c. Llama4
2. ✅fp8
   a. blockwise fp8 P0
3. ✅LoRA支持
   a. ✅MoE LoRA支持router训练
4. ✅支持提前预处理数据集
5. RLHF支持 P0
   a. GRPO
   b. KTO
   c. ✅DPO
6. ✅bshd格式支持
7. swanlab支持 P0
8. ✅loss_scale支持
9. 分类/Embedding模型支持
10. Deepspeed集成
11. ✅channel loss

RL

1. GRPO
   a. ✅多轮AsyncEngine
   b. Agent MCP
   c. sglang
   d. 效率对比benchmark
   e. ✅多机rollout
   f. ✅GSPO
   g. ✅DeepEyes
2. ✅MPO
3. ✅GKD
4. DPO
   a. ✅packing支持
   b. ✅LD-DPO
5. RLOO P1
6. Reinforce++ P06.多模态PPO
7. KTO padding_free支持
8. RM 支持 pointwise 训练 P0

推理与部署

1. ✅sglang接入推理部署
   a. 多模态模型
2. vLLM支持分类模型和RM

量化导出

1. ✅fp8/bnb支持多模态模型
2. ✅qlora支持merge-lora P1
3. ✅fp8量化

ms-swift3.9-3.11 roadmap: https://github.com/modelscope/ms-swift/issues/5721

No source files, tests, or entry points are named. Read the pending items in this roadmap and the linked ms-swift 3.9–3.11 roadmap (issue 5721), then select one narrowly scoped task; done would require an agreed implementation and project validation for that task.