agentscope-ai / agentscope-ai/Trinity-RFT

[Question] mode=serve 下是否会边采集 experience 边训练模型?

オープン
#600 コメント 3 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
701
フォーク
79
平均マージ
8時間 7分
マージ済み PR(30日)
1

説明

我在使用 Trinity-RFT + AgentScope-Java 验证在线训练流程。

当前配置:

- Trinity-RFT 使用 `mode: serve`
- Java 侧通过 AgentScope-Java `TrainingRunner` 调用 Trinity
- shadow agent 会产生 `msg_id`
- Java 侧调用 `/feedback` 提交 `msg_ids + reward + task_id + run_id`
- `/commit` 后,数据已经写入 `server_recovery_experience_buffer.jsonl`

我的问题是:

1. `mode: serve` 下,Trinity 是否只负责提供 OpenAI-compatible API 和采集 experience?
2. `mode: serve` 会不会自动启动 Trainer 并更新模型参数?
3. 如果我希望一边通过 AgentScope-Java 采集数据,一边实时训练模型,推荐使用什么 mode / 配置方式?

谢谢。

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。