agentscope-ai / agentscope-ai/Trinity-RFT

[FEATURE] More granular config options for control of liger and optimizer

Offen
#273 5 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Python
Sterne
701
Forks
79
Ø Merge
8 Std. 7 Min.
Gemergte PRs (30 T.)
1

Beschreibung

1. Would be nice to add `optimizer_fused`, `optimizer_foreach` config options. It allows to better control the memory footprint of the optimizer

Upstream issue:
- https://github.com/volcengine/verl/issues/2556

2. Would be nice to better control `_apply_liger_kernel_to_instance(model=actor_module)` ->
`_apply_liger_kernel_to_instance(model=actor_module, fused_linear_cross_entropy=liger_fused_linear_cross_entropy, cross_entropy=liger_cross_entropy)`. This is needed because otherwise Verl's fused FusedLinearCrossEntropy kernel conflicts with Liger kernels - at least used to conflict

Upstream issue:
- https://github.com/volcengine/verl/issues/2609

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.