agentscope-ai / agentscope-ai/Trinity-RFT

[FEATURE] More granular config options for control of liger and optimizer

未关闭
#273 5 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
enhancement
主要语言
Python
星标
701
派生
79
平均合并
8 小时 7 分钟
30 天内合并 PR
1

描述

1. Would be nice to add `optimizer_fused`, `optimizer_foreach` config options. It allows to better control the memory footprint of the optimizer

Upstream issue:
- https://github.com/volcengine/verl/issues/2556

2. Would be nice to better control `_apply_liger_kernel_to_instance(model=actor_module)` ->
`_apply_liger_kernel_to_instance(model=actor_module, fused_linear_cross_entropy=liger_fused_linear_cross_entropy, cross_entropy=liger_cross_entropy)`. This is needed because otherwise Verl's fused FusedLinearCrossEntropy kernel conflicts with Liger kernels - at least used to conflict

Upstream issue:
- https://github.com/volcengine/verl/issues/2609

贡献指南

打开贡献指南

评估

这个 Issue 还没有评估数据。

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。