deepseek-ai / deepseek-ai/DeepSeek-Math
论文里PPO的公式写错了
Open
- Dominant language
- Python
- Stars
- 3.4k
- Forks
- 592
- PR merge metrics
- No merged PRs in 30d
Description
应该改为：
原因：因为你是对π_θ_old求的期望，你在求KL散度的时候肯定不是π_θ在分子上。另外ref模型应该是GRPO里才有的概念（用来约束当前模型和该iter开始时刻模型的更新幅度），在PPO里应该只有old模型，所以应该是π_θ_old在分子上。
可以参考InstructGPT：
Contributor guide
No contributing guide indexed for this repository
Assessment
This issue has not been assessed yet.