agentscope-ai / agentscope-ai/Trinity-RFT

能否支持在 Experience 缓冲区中存储 Policy 末端隐含层输出

Abierto
#383 3 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
701
Forks
79
Merge medio
8 h 7 min
PR fusionados (30 d)
1

Descripción

作者您好,

我正在基于 Trinity‑RFT 框架开展  Experience 分析工作。希望在 Policy 交互/生成阶段,除了保存生成的 Token,还能获取该 Policy 模型在生成过程末端的隐含层向量,以便后续分析。

但是当前使用 vLLM 的标准 generate 路径(通过 RequestOutput)只返回 logits/Tokens,不包含隐含层张量,并且无法使用 task=“embed” 模式,因为该模式不支持文本生成,且需要独立的引擎实例,与当前 Trinity‑RFT 架构中的 rollout 阶段不兼容。

请问能否可以提供 Trinity‑RFT 框架中用于扩展该功能的接口示例呢?

Guía de contribución

Abrir la guía de contribución

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.