agentscope-ai / agentscope-ai/Trinity-RFT

[Question] mode=serve 下是否会边采集 experience 边训练模型?

Abierto
#600 3 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
701
Forks
79
Merge medio
8 h 7 min
PR fusionados (30 d)
1

Descripción

我在使用 Trinity-RFT + AgentScope-Java 验证在线训练流程。

当前配置:

- Trinity-RFT 使用 `mode: serve`
- Java 侧通过 AgentScope-Java `TrainingRunner` 调用 Trinity
- shadow agent 会产生 `msg_id`
- Java 侧调用 `/feedback` 提交 `msg_ids + reward + task_id + run_id`
- `/commit` 后,数据已经写入 `server_recovery_experience_buffer.jsonl`

我的问题是:

1. `mode: serve` 下,Trinity 是否只负责提供 OpenAI-compatible API 和采集 experience?
2. `mode: serve` 会不会自动启动 Trainer 并更新模型参数?
3. 如果我希望一边通过 AgentScope-Java 采集数据,一边实时训练模型,推荐使用什么 mode / 配置方式?

谢谢。

Guía de contribución

Abrir la guía de contribución

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.