agentscope-ai / agentscope-ai/Trinity-RFT

[FEATURE] Support for Tensor-Parallel

オープン
#285 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
enhancement
主要言語
Python
スター
701
フォーク
79
平均マージ
8時間 7分
マージ済み PR(30日)
1

説明

If I understand correctly, for more precise set-up of TP within FSDP2 framework, `parallelize_module(...)` must be called explicitly with a `tp_plan` (https://docs.pytorch.org/tutorials/intermediate/TP_tutorial.html#combine-tensor-parallel-with-fully-sharded-data-parallel-together), example at https://github.com/pytorch/torchtune/blob/main/recipes/full_finetune_distributed.py

But as I found, Verl/Trinity do not prepare any explicit TP-plan and do not invoke `parallelize_module(...)`. Am I correct that TP is not currently supported under the FSDP/2 trainer?

Thanks!

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。