agentscope-ai / agentscope-ai/Trinity-RFT

能否支持在 Experience 缓冲区中存储 Policy 末端隐含层输出

Offen
#383 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
701
Forks
79
Ø Merge
8 Std. 7 Min.
Gemergte PRs (30 T.)
1

Beschreibung

作者您好,

我正在基于 Trinity‑RFT 框架开展  Experience 分析工作。希望在 Policy 交互/生成阶段,除了保存生成的 Token,还能获取该 Policy 模型在生成过程末端的隐含层向量,以便后续分析。

但是当前使用 vLLM 的标准 generate 路径(通过 RequestOutput)只返回 logits/Tokens,不包含隐含层张量,并且无法使用 task=“embed” 模式,因为该模式不支持文本生成,且需要独立的引擎实例,与当前 Trinity‑RFT 架构中的 rollout 阶段不兼容。

请问能否可以提供 Trinity‑RFT 框架中用于扩展该功能的接口示例呢?

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.